[논문 리뷰] Gradient Method for Optimization on Riemannian Manifolds with Lower Bounded Curvature

O. P. Ferreira, Maurício Silva Louzeiro외 1명|arXiv (Cornell University)|2018. 06. 07.

Numerical methods in inverse problems참고 문헌 32인용 수 3

한 줄 요약

이 논문은 단조 감소하는 섹션 곡률을 가진 다양체 위에서 볼록 최적화를 위한 리emannian 경사하강법을 분석하며, 리만 연속성, 적응형, Armijo의 세 가지 스텝 사이즈 전략을 제안하고, 수준 집합의 유계성 조건 없이 전체 수열의 전역 수렴성을 증명한다. 리만 연속성 기울기가 있는 함수에 대해 O(1/ε) 반복 복잡도 상한을 도출하며, 리만 중심의 질량과 Karcher 평균 문제에서 수치적으로 검증되었고, 적응형 선검색 전략이 강력한 경험적 잠재력을 보였다.

ABSTRACT

The gradient method for minimize a differentiable convex function on Riemannian manifolds with lower bounded sectional curvature is analyzed in this paper. The analysis of the method is presented with three different finite procedures for determining the stepsize, namely, Lipschitz stepsize, adaptive stepsize and Armijo's stepsize. The first procedure requires that the objective function has Lipschitz continuous gradient, which is not necessary for the other approaches. Convergence of the whole sequence to a minimizer, without any level set boundedness assumption, is proved. Iteration-complexity bound for functions with Lipschitz continuous gradient is also presented. Numerical experiments are provided to illustrate the effectiveness of the method in this new setting and certify the obtained theoretical results. In particular, we consider the problem of finding the Riemannian center of mass and the so-called Karcher's mean. Our numerical experiences indicate that the adaptive stepsize is a promising scheme that is worth considering.

연구 동기 및 목표

• 하향 유계 섹션 곡률을 가진 다양체 위에서 볼록 최적화를 위한 리만 경사하강법의 전역 수렴성을 수준 집합의 유계성 조건 없이 확립하는 것.
• 목적 함수에 대한 다양한 가정 하에 세 가지 별개의 스텝 사이즈 전략—리만 연속성, 적응형, Armijo—를 분석하는 것.
• 리만 연속성 기울기 함수를 가진 함수에 대해 O(1/ε) 반복 복잡도 상한을 유도하고 검증하는 것.
• 리만 중심의 질량과 Karcher의 평균과 같은 실용적 문제들에서 방법의 효과성을 보여주는 것.
• 다양한 선검색 전략의 성능을 평가하며, 특히 적응형 스텝 사이즈의 잠재력을 부각하는 것.

제안 방법

• 완전한 리만 다양체 위에서 하향 유계 섹션 곡률을 가진 다각형에서 경사하강법을 적용하며, 리만 기울기를 사용해 내림방향을 정의한다.
• 세 가지 스텝 사이즈 전략을 사용한다: (1) 기울기의 리만 연속성 상수에 기반한 일정한 스텝 사이즈, (2) 국소 곡률에 따라 동적으로 조정되는 적응형 스텝 사이즈, (3) 백트래킹을 사용한 Armijo의 선검색.
• 수렴 분석은 다양체의 기하적 성질과 목적 함수의 볼록성에 기반하며, 미약한 조건 하에서 전체 수열이 최소화자로 수렴함을 증명한다.
• 리만 연속성 스텝 사이즈의 경우, O(1/ε) 반복 복잡도 상한이 도출되며, 이는 O(1/ε) 반복 후 f(p_N) - f* < ε 가 성립함을 보장한다.
• 양의 정부분 공간 다양체의 리만 거리와 계량을 명시적으로 정의하여 중심의 질량 문제에서 리만 기울기의 닫힌 형태 계산을 가능하게 한다.
• 수치 실험은 인위적 데이터를 사용하여 리만 중심의 질량과 Karcher 평균 문제에서 수행되었으며, 세 가지 스텝 사이즈 전략 간 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 수준 집합의 유계성 조건 없이, 하향 유계 곡률을 가진 다양체에서 리만 경사하강법이 전체 수열이 최소화자로 수렴할 수 있는가?
• RQ2 목적 함수의 기울기가 리만 연속성을 만족할 경우, 리만 경사하강법의 반복 복잡도 상한은 무엇인가?
• RQ3 리만 볼록 최적화 문제에서 리만 연속성, 적응형, Armijo의 다양한 선검색 전략이 실제로 어떻게 작동하는가?
• RQ4 적응형 스텝 사이즈 전략이 중심의 질량과 Karcher 평균과 같은 리만 문제에서 수렴 속도와 안정성 측면에서 전통적 방법을 초월할 수 있는가?
• RQ5 특히 목적 함수 값과 리만 기울기 노름에 대해 이론적 복잡도 상한이 수치 실험에서 얼마나 잘 유지되는가?

주요 결과

• 목적 함수의 볼록성과 하향 유계 섹션 곡률 조건 하에서 리만 경사하강법이 생성하는 전체 수열은 수준 집합의 유계성 조건 없이도 최소화자로 수렴한다.
• 리만 연속성 스텝 사이즈 전략에 대해 O(1/ε) 반복 복잡도 상한이 확립되었으며, 이는 O(1/ε) 반복 후 f(p_N) - f* < ε 가 성립함을 보장한다.
• n=100, m=5, 균일한 난수 초기값을 사용한 리만 중심의 질량 문제에 대한 수치 실험에서 리만 연속성 스텝 사이즈 전략을 사용해 30회 반복 내에 수렴함을 확인하였다.
• 적응형 스텝 사이즈 전략은 리만 연속성 및 Armijo 전략을 모두 앞서는 수렴 속도와 안정성 측면에서 뛰어나며, 매우 유망한 접근법임을 시사한다.
• 그림 4(a)와 4(b)에서 목적 함수 값과 리만 기울기 노름에 대한 이론적 반복 복잡도 상한이 경험적으로 검증되었으며, 실용적 신뢰성은 확인되었다.
• 중심의 질량 문제에서 리만 기울기는 grad f(x) = (x_i ∑_j ln(x_i / w_i^j))_i 로 명시적으로 계산 가능하여 정확한 해 검증이 가능하다.