[논문 리뷰] Regression on fixed-rank positive semidefinite matrices: a Riemannian approach

Gilles Meyer, Silvère Bonnabel외 1명|arXiv (Cornell University)|2010. 06. 07.

Sparse and Compressive Sensing Techniques참고 문헌 50인용 수 56

한 줄 요약

이 논문은 고정 질량 양의 준정부정행렬에 대한 회귀를 위한 리emann 최적화 프레임워크를 제안한다. 이 방법은 다양체의 내재 기하학을 활용하여 기울기 하강 중에도 질량과 양의 준정부정성의 유지에 기여한다. 이 방법은 행렬 차원에 대해 선형 확장 가능성을 가지며, 벤치마크에서 부분공간-그런 다음 학습 접근법을 능가하고, 매트릭스 범위 공간의 제약 없는 진화를 가능하게 한다.

ABSTRACT

The paper addresses the problem of learning a regression model parameterized by a fixed-rank positive semidefinite matrix. The focus is on the nonlinear nature of the search space and on scalability to high-dimensional problems. The mathematical developments rely on the theory of gradient descent algorithms adapted to the Riemannian geometry that underlies the set of fixed-rank positive semidefinite matrices. In contrast with previous contributions in the literature, no restrictions are imposed on the range space of the learned matrix. The resulting algorithms maintain a linear complexity in the problem size and enjoy important invariance properties. We apply the proposed algorithms to the problem of learning a distance function parameterized by a positive semidefinite matrix. Good performance is observed on classical benchmarks.

연구 동기 및 목표

• 고차원 문제에서 표준 방법이 높은 계산 비용을 야기하는 고정 질량 양의 준정부정행렬 학습의 과제를 해결하기 위해.
• 기존의 Bregman 산란 기반 방법이 학습된 매트릭스의 범위 공간을 처음부터 고정하는 한계를 극복하기 위해.
• 자연스럽게 질량과 양의 준정부정성 제약 조건을 강제하는 스케일러블하고 기하학적으로 일관된 최적화 프레임워크를 개발하기 위해.
• 원래 데이터 공간 내의 저차원 부분공간과 이차 거리의 공동 학습을 가능하게 하여 사전 차원 축소를 피하기 위해.
• 먼저 부분공간으로 데이터를 투영하는 방법에 비해 마할라노비스 거리 학습 벤치마크에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 이 방법은 Journée 등 (2010)과 Bonnabel & Sepulchre (2009) 가 수립한 기하학을 기반으로 한 고정 질량 양의 준정부정행렬의 몰입 다양체 위에서 리만 최적화를 적용한다.
• 기울기 업데이트는 모든 반복이 고정 질량 양의 준정부정행렬 집합 내에 머무르도록 보장하는 리만 다양체 위의 선 탐색 알고리즘을 통해 계산된다.
• 이 접근법은 후행 투영이나 투영 유사 보정이 필요 없이 질량과 양의 준정부정성을 유지하는 리트랙션 기반 업데이트 규칙을 사용한다.
• 이 프레임워크는 거리 매트릭스가 고정 질량 양의 준정부정행렬로 매개변수화되는 마할라노비스 거리 학습에 적용된다.
• 알고리즘은 사전 차원 축소 없이 원래 데이터 공간에서 직접 작동함으로써 행렬 차원 d에 대해 선형 계산 복잡도 O(d)를 유지한다.
• 기울기 하강의 거의 확실한 수렴을 보장하기 위해 적응형 스텝 사이즈 전략을 사용하며, Bottou (1998) 의 가정과 리아푸노프 과정을 통한 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 고정 질량 양의 준정부정행렬 다양체 위에서 리만 최적화가 고차원 설정에서 선형 복잡도로 확장 가능한 학습을 가능하게 할 수 있는가?
• RQ2 후행 투영에 의존하지 않고 최적화 중에 질량과 양의 준정부정성 제약 조건을 자연스럽게 강제할 수 있는가?
• RQ3 최적화 중에 학습된 매트릭스의 범위 공간을 진화시킬 수 있다면 고정된 범위 공간 방법에 비해 성능이 향상되는가?
• RQ4 먼저 차원을 축소한 후 부분공간에서 전순위 거리를 학습하는 두 단계 방법과 비교해 볼 때, 제안된 방법은 어떻게 다른가?
• RQ5 스토케스틱 설정 하에서 제안된 리만 기울기 하강 알고리즘의 수렴 행동은 어떠한가?

주요 결과

• 제안된 리만 알고리즘은 행렬 차원 d에 대해 선형 계산 복잡도 O(d)를 달성하여 고차원 문제에 대한 확장성을 보장한다.
• 이 알고리즘은 데이터를 부분공간으로 투영하는 두 단계 방법들(예: LEGO, LMNN, ITML)을 능가하며, 특히 질량 r 이 d 와 비교해 작을 때 성능 격차가 두드러진다.
• 제안된 방법과 부분공간-그런 다음 학습 방법 간의 성능 격차는 낮은 질량에서 가장 두드러지며, r 이 증가함에 따라 점차 줄어든다.
• 이 방법은 최적화 전반에 걸쳐 질량과 양의 준정부정성의 유지에 성공하며, 추가 제약 조건이나 투영이 필요하지 않다.
• 이론적 분석은 표준 스토케스틱 기울기 가정 하에서 기대 손실 함수의 정적점으로의 거의 확실한 수렴을 확인한다.
• 이 프레임워크는 Bregman 산란 기반 알고리즘의 기하학적 해석을 제공하며, 몰입 행렬 다양체 위에서의 선 탐색에 대한 일반 수렴 이론을 수립한다.