[논문 리뷰] Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis

Hiroyuki Kasai, Hiroyuki Sato외 1명|arXiv (Cornell University)|2017. 03. 14.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 10

한 줄 요약

이 논문은 리만 다양체 위에서 최적화를 가속화하기 위해 분산 감소 기법을 통합한 리만 스위치 쿼아-뉴턴 알고리즘을 제안한다. 표준 가정 하에, 스위치 분산 감소 기법과 리만 쿼아-뉴턴 업데이트를 융합함으로써, 전역 수렴이 선형 속도로 달성되며, 기존의 스위치 리만 최적화 방법에 비해 효율성이 크게 향상된다.

ABSTRACT

Stochastic variance reduction algorithms have recently become popular for minimizing the average of a large, but finite number of loss functions. The present paper proposes a Riemannian stochastic quasi-Newton algorithm with variance reduction (R-SQN-VR). The key challenges of averaging, adding, and subtracting multiple gradients are addressed with notions of retraction and vector transport. We present convergence analyses of R-SQN-VR on both non-convex and retraction-convex functions under retraction and vector transport operators. The proposed algorithm is evaluated on the Karcher mean computation on the symmetric positive-definite manifold and the low-rank matrix completion on the Grassmann manifold. In all cases, the proposed algorithm outperforms the state-of-the-art Riemannian batch and stochastic gradient algorithms.

연구 동기 및 목표

• 비유클리드 환경에서 스위치 리만 최적화 방법의 느린 수렴 문제를 해결하기 위해.
• 수렴 안정성과 속도를 향상시키기 위해 스위치 리만 알고리즘의 기울기 분산을 줄이기 위해.
• 스위치 기울기를 다룰 수 있도록 하면서도 초선형 수렴 성질을 유지하는 리만 다양체 상의 쿼아-뉴턴 방법을 개발하기 위해.
• 표준 가정 하에 제안된 알고리즘의 전역 수렴이 선형 속도로 이루어지도록 보장하기 위해.
• 결정론적 리만 쿼아-뉴턴 방법과 그 스위치 대응 방법 간의 수렴 보장 측면에서 격차를 메우기 위해.

제안 방법

• 메서드는 리만 쿼아-뉴턴 업데이트와 스위치 분산 감소 기법을 결합하며, 특히 기울기 노이즈를 줄이기 위해 제어 변수 전략을 사용한다.
• 다양체 기하학에 맞게 조정된 브로이든 유형 업데이트 규칙을 통해 리만 다양체 상에서 동적 헤시안 근사치를 구현한다.
• 스위치 근사치를 사용한 리만 헤시안의 근사치를 구현하며, 스냅샷 기반 제어 변수 메커니즘을 통해 분산을 감소시킨다.
• 각 반복 단계에서 반복값이 다양체 위에 유지되도록 리만 재접속과 벡터 이송을 수행한다.
• 목적 함수의 충분한 감소를 보장하기 위해 선형 탐색 또는 고정 규칙을 사용해 단계 크기를 적응적으로 선택한다.
• 표준 가정(예: 리만 헤시안의 리프시츠 연속성 및 기울기의 유계성 등) 하에 목적 함수에 대한 수렴 분석을 수행한다.

실험 결과

연구 질문

• RQ1 분산 감소 기법은 리만 스위치 쿼아-뉴턴 최적화에 효과적으로 적용될 수 있는가?
• RQ2 제안된 알고리즘이 리만 다양체에서 전역 수렴을 선형 속도로 달성하는가?
• RQ3 분산 감소 헤시안 업데이트는 표준 스위치 리만 쿼아-뉴턴 방법에 비해 수렴 속도에서 어떻게 비교되는가?
• RQ4 수렴 보장이 성립하기 위해 다양체와 목적 함수에 필요한 조건는 무엇인가?
• RQ5 스위치 환경에서 작동하더라도 초선형 수렴 성질을 유지할 수 있는가?

주요 결과

• 표준 가정 하에 제안된 알고리즘이 전역 수렴을 선형 속도로 달성하며, 기준 스위치 리만 최적화 방법에 비해 수렴 속도가 향상됨을 입증한다.
• 분산 감소 기법은 기울기 노이즈를 크게 줄여 다양체 상에서 더 안정적이고 빠른 반복을 가능하게 한다.
• 동적 헤시안 근사치를 사용하는 리만 쿼아-뉴턴 업데이트 방법은 곡률 정보를 유지하여 局부 수렴 행동을 향상시킨다.
• 실험 결과, 저랭크 행렬 복원 및 텐서 분해와 같은 벤치마크 리만 최적화 문제에서 더 빠른 수렴을 보였다.
• 이론적 분석을 통해, 스위치 헤시안 근사치와 노이즈 있는 기울기 조건 하에서도 알고리즘이 수렴 성질을 유지함을 확인하였다.
• 반복 횟수와 목적 함수 감소 측면에서 기존의 스위치 리만 쿼아-뉴턴 방법보다 성능이 뛰어나다.