[논문 리뷰] Guarantees of Riemannian Optimization for Low Rank Matrix Completion

Ke Wei, Jian‐Feng Cai외 2명|arXiv (Cornell University)|2016. 03. 21.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 26

한 줄 요약

이 논문은 낮은 질서 행렬 완성 문제에서 저질서 행렬 다양체 위에서 리만 최적화 알고리즘—경사하강법과 공액 경사하강법—에 대한 이론적 복원 보장을 처음으로 제공한다. 한 단계의 하드 히어링 초기화를 사용할 경우 샘플링 복잡도 $ m = O(n^{1.5}r\log^{1.5}n) $ 에서 선형 수렴을 증명하였으며, 재샘플링된 리만 경사하강법 초기화를 사용할 경우 이는 $ m = O(nr^2\log^2n) $ 으로 향상된다. 이는 비균일성 및 유계성 조건 하에서 성립한다.

ABSTRACT

We study the Riemannian optimization methods on the embedded manifold of low rank matrices for the problem of matrix completion, which is about recovering a low rank matrix from its partial entries. Assume $m$ entries of an $n imes n$ rank $r$ matrix are sampled independently and uniformly with replacement. We first prove that with high probability the Riemannian gradient descent and conjugate gradient descent algorithms initialized by one step hard thresholding are guaranteed to converge linearly to the measured matrix provided \begin{align*} m\geq C_κn^{1.5}r\log^{1.5}(n), \end{align*} where $C_κ$ is a numerical constant depending on the condition number of the underlying matrix. The sampling complexity has been further improved to \begin{align*} m\geq C_κnr^2\log^{2}(n) \end{align*} via the resampled Riemannian gradient descent initialization. The analysis of the new initialization procedure relies on an asymmetric restricted isometry property of the sampling operator and the curvature of the low rank matrix manifold. Numerical simulation shows that the algorithms are able to recover a low rank matrix from nearly the minimum number of measurements.

연구 동기 및 목표

• 낮은 질서 행렬 완성 문제에서 리만 최적화 방법의 이론적 수렴 보장을 확립하기 위해.
• 리만 경사하강법과 공액 경사하강법이 진짜 낮은 질서 행렬로 선형 수렴하기 위해 필요한 샘플링 복잡도를 분석하기 위해.
• 새로운 재샘플링된 리만 경사하강법 초기화 절차를 도입하여 샘플링 복잡도를 향상시키기 위해.
• 낮은 질서 다양체의 곡률과 비대칭 제한 이sovolumetric 성질을 포함하여 이론 분석을 확장하기 위해.
• 노이즈 및 최소 샘플링 조건 하에서 수치 시뮬레이션을 통해 알고리즘의 강건성과 효율성을 검증하기 위해.

제안 방법

• 고정 질서 행렬의 임bedded 리만 다양체 위에서의 최적화로 행렬 완성 문제를 수립한다.
• 접선 공간 투영을 사용하여 낮은 질서 구조를 유지하는 리만 경사하강법과 공액 경사하강법를 적용한다.
• 충분한 샘플링 하에서 진짜 행렬에 가까운 초기화를 보장하기 위해 한 단계 하드 히어링을 사용한다.
• 샘플링 복잡도를 $O(n^{1.5}r\log^{1.5}n)$ 에서 $O(nr^2\log^2n)$ 으로 감소시키기 위해 재샘플링된 리만 경사하강법 초기화 절차를 도입한다.
• 에러 전파를 제한하기 위해 샘플링 연산자의 비대칭 제한 이sovolumetric 성질과 다양체의 곡률을 활용한다.
• 반복값과 진짜 행렬 간의 차이에 대한 스펙트럼 및 프로베니우스 노름 경계를 통해 수렴성을 분석한다.

실험 결과

연구 질문

• RQ1 낮은 질서 행렬 완성 문제에서 리만 최적화 방법이 이론적으로 선형 수렴을 보장할 수 있는가?
• RQ2 리만 경사하강법이 낮은 질서 행렬을 높은 확률로 복원하기 위해 필요한 최소 샘플링 복잡도는 무엇인가?
• RQ3 향상된 초기화를 통해 $O(n^{1.5}r\log^{1.5}n)$ 이하의 샘플링 복잡도를 달성할 수 있는가?
• RQ4 낮은 질서 다양체의 곡률과 샘플링 연산자의 제한 이sovolumetric 성질이 수렴에 어떤 영향을 미치는가?
• RQ5 알고리즘은 데이터의 노이즈와 약간의 낮은 질서 구조에 대해 어느 정도 강건한가?

주요 결과

• 한 단계 하드 히어링 초기화를 사용한 리만 경사하강법은 $ m \geq C_{\kappa}n^{1.5}r\log^{1.5}(n) $ 일 때 높은 확률로 진짜 행렬로 선형 수렴한다. 여기서 $ C_{\kappa} $ 는 조건 수에 의존한다.
• 재샘플링된 리만 경사하강법 초기화 절차는 필요한 샘플링 복잡도를 $ m \geq C_{\kappa}nr^2\log^2(n) $ 로 감소시켜 이전의 경계를 향상시킨다.
• 이론적 분석은 샘플링 연산자의 비대칭 제한 이sovolumetric 성질과 낮은 질서 행렬 다양체의 곡률에 기반한다.
• 높은 확률의 샘플링 조건 하에서 프로베니우스 노름으로 수렴이 보장되며, 반복마다 수렴 속도는 $ \frac{5}{6} $ 이다.
• 수치 시뮬레이션은 알고리즘이 거의 최소 수의 측정값으로도 낮은 질서 행렬을 복원함을 확인한다.
• 알고리즘은 추가적인 가우시안 화이트 노이즈에 대해 강건성을 보이며, 약간의 낮은 질서 구조 설정으로의 확장 가능성을 시사한다.