[논문 리뷰] Low-rank matrix completion by Riemannian optimization---extended version

Bart Vandereycken|arXiv (Cornell University)|2012. 09. 18.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 18

한 줄 요약

이 논문은 고정 질량 행렬의 다양체 위에서 리만 최적화 기법을 사용하여 저질서 행렬 완성 문제를 최적화하는 Riemannian 공액 기울기 방법인 LRGeomCG를 제안한다. 이 방법은 대규모 문제에서 높은 확장성과 뛰어난 성능을 달성하며, 비조화 행렬에 대해 제한된 이sovmetry 성질을 만족할 경우 수렴성이 보장된다.

ABSTRACT

The matrix completion problem consists of finding or approximating a low-rank matrix based on a few samples of this matrix. We propose a new algorithm for matrix completion that minimizes the least-square distance on the sampling set over the Riemannian manifold of fixed-rank matrices. The algorithm is an adaptation of classical non-linear conjugate gradients, developed within the framework of retraction-based optimization on manifolds. We describe all the necessary objects from differential geometry necessary to perform optimization over this low-rank matrix manifold, seen as a submanifold embedded in the space of matrices. In particular, we describe how metric projection can be used as retraction and how vector transport lets us obtain the conjugate search directions. Finally, we prove convergence of a regularized version of our algorithm under the assumption that the restricted isometry property holds for incoherent matrices throughout the iterations. The numerical experiments indicate that our approach scales very well for large-scale problems and compares favorably with the state-of-the-art, while outperforming most existing solvers.

연구 동기 및 목표

• 기존의 볼록 완화 방법이 확장성에 뒤처지는 경우에도 대규모 저질서 행렬 완성 문제를 효율적으로 해결하는 데 도전한다.
• 고정 질량 행렬의 리만 다양체 위에서 샘플링된 원소들에 대한 최소 제곱 오차를 직접 최소화하는 비볼록 최적화 프레임워크를 개발한다.
• 협업 필터링 및 시스템 식별과 같은 실제 응용 분야에서 막대하고 불완전한 데이터 행렬에 대해 확장성 있고 견고한 행렬 완성 기법을 제공한다.
• 비조화 행렬에 대해 제한된 이sovmetry 성질이 성립할 경우, 정규화된 알고리즘 변형의 이론적 수렴 보장을 제공한다.

제안 방법

• 고정 질량 행렬의 리만 다용체 $\mathcal{M}_k$ 위에서 부드러운 최적화 문제로 저질서 행렬 완성 문제를 재구성한다.
• 기울기 방향을 계산하기 위해 리만 기울기 $\operatorname{grad}f(X) = \textrm{P}_{T_X\mathcal{M}_k}(\operatorname{P}_\Omega(X - A))$ 를 사용하여 접선 공간 내에서 가장 급강하 방향을 확보한다.
• 최적화 단계 동안 반복값이 다용체 위에 유지되도록 메트릭 투영을 재접속(retraction)으로 사용한다.
• 검색 방향을 다용체를 따라 평행 이동시키기 위해 벡터 운반 기법을 적용하여 공액 방향 갱신을 가능하게 한다.
• 기존의 비선형 공액 기울기 방법을 리만 기하학적 환경에 적응시켜, 스텝 크기 선택을 위해 Armijo 선 검색을 통합한다.
• 두 번째 순서 변화를 활용해 리만 헤시안을 유도하며, 현재 반복값의 행과 열 공간에 대한 투영을 포함하는 구성요소로 분해한다.

실험 결과

연구 질문

• RQ1 고정 질량 행렬의 리만 최적화가 대규모 행렬 완성 문제에서 기존의 핵심 노름 완화 기법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 저질서 행렬 다용체 위에서 공액 기울기 방법을 구현하기 위해 필요한 기하학적 및 알고리즘 구성요소(예: 재접속, 벡터 운반)는 무엇인가?
• RQ3 정규화된 리만 공액 기울기 알고리즘의 어떤 조건에서 진짜 저질서 해로 수렴하는가?
• RQ4 희박한 샘플링 집합을 가진 대규모 문제에서 알고리즘의 계산 비용과 메모리 사용량은 어떻게 확장되는가?
• RQ5 내성적인 노이즈가 존재하는 상황에서, 허용 오차 $\varepsilon$ 를 고려한 강건한 공식화에서도 알고리즘이 견고성을 유지할 수 있는가?

주요 결과

• 제안된 LRGeomCG 알고리즘은 대규모 문제에서 매우 우수한 확장성을 보이며, 수치 실험에서 최신 기술 대비 뛰어난 성능을 나타낸다.
• 비조화 행렬에 대해 제한된 이sovmetry 성질이 반복 과정 전반에 걸쳐 유지될 경우, 정규화된 알고리즘 변형의 수렴성이 보장된다.
• 리만 헤시안은 두 개의 연산자 합으로 명시적으로 유도되었으며, 하나는 행과 열 공간에 대한 투영을 포함하고, 다른 하나는 샘플링 집합과 잔차 행렬과 관련이 있다.
• 리만 기울기는 저질서 다용체의 접선 공간에 대한 메트릭 투영을 통해 계산되어, 올바른 리만 기하학적 맥락에서 내림차순을 보장한다.
• 메트릭 투영을 재접속 및 벡터 운반으로 사용함으로써, 비볼록 저질서 다용체 위에서 안정적이고 효율적인 최적화가 가능해졌다.
• 희박한 샘플링 패턴을 가진 대규모 행렬에서 정확도와 속도 면에서 대부분의 기존 솔버를 능가하는 성능을 보였다.