[논문 리뷰] Frank-Wolfe methods for geodesically convex optimization with application to the matrix geometric mean.

Melanie Weber, Sra Suvrit|arXiv (Cornell University)|2017. 10. 30.

Optimization and Variational Analysis인용 수 3

한 줄 요약

이 논문은 양의 정부호 행렬의 다양체 위에서 지측적 볼록 최적화를 위한 유클리드 및 리만 프랭크-울프 알고리즘을 제안하며, 리만 프랭크-울프에 대한 최초의 비점근 수렴 속도를 확립한다. 행렬 기하 평균을 계산하는 폐쇄형 오рак루 구현을 제공하고, 추가 조건 하에서 선형 수렴을 증명하며, 최신 기법들과 비교해 뛰어난 실험 성능을 보인다.

ABSTRACT

We consider optimization of geodesically convex objectives over geodesically convex subsets of the manifold of positive definite matrices. In particular, for this task, we develop Euclidean and Riemannian Frank-Wolfe (FW) algorithms. For both settings, we analyze non-asymptotic convergence rates to global optimality. To our knowledge, these are the first results on Riemannian FW and its convergence. We specialize our algorithms for the task of computing the matrix geometric mean, i.e., the Riemannian centroid of a set of positive definite matrices. For this problem, we provide concrete, closed-form realizations of the crucial oracle required by FW that may be of independent interest. Moreover, under an additional hypothesis, we prove how Riemannian FW can even attain a linear rate of convergence. Experiments against recently published methods for the matrix geometric mean substantiate the competitiveness of the proposed FW algorithms.

연구 동기 및 목표

• 지속적 볼록 최적화 설정에서 리만 프랭크-울프 방법에 대한 수렴 분석 부족 문제를 해결한다.
• 지속적 볼록 최적화의 특수한 경우인 행렬 기하 평균을 효율적으로 계산하는 알고리즘을 개발한다.
• 양의 정부호 행렬에 대해 리만 프랭크-울프 오라클의 명시적 폐쇄형 구현을 제공하며, 이는 본 연구를 초월한 응용 가능성도 있다.
• 이 설정에서 리만 프랭크-울프의 이론적 수렴 보장을 확립하며, 추가 가정 하에서 선형 수렴을 포함한다.
• 최근 기법들과의 실험을 통해 제안된 알고리즘이 실용적으로 경쟁력 있음을 입증한다.

제안 방법

• 양의 정부호 행렬의 다양체 위에서 지속적 볼록 목적함수에 특화된 리만 프랭크-울프 알고리즘을 제안한다.
• 양의 정부호 행렬을 대칭 행렬 공간에 통합함으로써 활용하는 기준선으로서 유클리드 프랭크-울프 변형을 설계한다.
• 양의 정부호 행렬 집합의 볼록 결합 위에서 지측선 최소화를 계산하는 리만 프랭드-울프 오라클에 대한 폐쇄형 해를 개발한다.
• 리만 다양체의 기하학적 구조, 특히 애프린버이어 인variant 메트릭과 지측선을 활용하여 알고리즘 단계를 정의한다.
• 유클리드 및 리만 프랭크-울프 변형에 대해 비점근 수렴 속도를 확립하며, 최적 해로의 전역 수렴을 증명한다.
• 추가 가정(예: 곡률 또는 강한 볼록성 유사 조건) 하에서 리만 프랭크-울프 방법의 선형 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 지속적 볼록 최적화에서 양의 정부호 행렬 다양체 위에서 리만 프랭크-울프 방법을 엄밀하게 수렴 분석할 수 있는가?
• RQ2 행렬 기하 평균 문제에 대한 리만 프랭크-울프 오라클의 계산 복잡도와 구현 가능성은 어떠한가?
• RQ3 이 설정에서 리만 프랭크-울프가 어떤 조건 하에서 선형 수렴 속도를 달성할 수 있는가?
• RQ4 최근에 발표된 기법들과 비교해 제안된 프랭크-울프 알고리즘의 실용적 성능은 어떠한가?
• RQ5 양의 정부호 행렬 맥락에서 리만 프랭크-울프 하위문제에 대해 폐쇄형 해를 유도할 수 있는가?

주요 결과

• 본 연구는 양의 정부호 행렬 다양체 위에서 지속적 볼록 최적화에 대한 리만 프랭크-울프 알고리즘에 대해 최초로 비점근 수렴 분석을 제시한다.
• 추가 가정(예: 유한 곡률 또는 강한 지측 볼록성) 하에서 제안된 리만 프랭크-울프 방법이 선형 수렴을 달성한다.
• 행렬 기하 평균 문제에 대해 리만 프랭크-울프 오라클에 대한 폐쇄형 해가 도출되어 효율적인 구현이 가능하다.
• 유클리드 및 리만 프랭크-울프 변형 모두 최적 해로의 전역 수렴을 보이며, 확립된 비점근 수렴 속도를 갖는다.
• 실험 결과 제안된 프랭크-울프 알고리즘이 최근에 발표된 기법들과 비교해 경쟁력 있거나 승리함을 보였다.
• 폐쇄형 오라클 구현은 별도의 관심사이며, 양의 정부호 다양체 위의 다른 리만 최적화 문제에 적용 가능할 수 있다.