[논문 리뷰] Guarantees of Riemannian Optimization for Low Rank Matrix Recovery

Ke Wei, Jian‐Feng Cai외 2명|arXiv (Cornell University)|2015. 11. 05.

Sparse and Compressive Sensing Techniques참고 문헌 52인용 수 13

한 줄 요약

이 논문은 저질서 행렬 복원을 위한 리만 최적화 알고리즘—특히 리만 경사하강법과 재시작된 리만 공액 경사하강법—에 대한 이론적 수렴 보장을 수립한다. 초기화가 일단 하드 테이블링을 통해 이루어질 경우, 제한 이sov메트릭 상수 $ R_{3r} $ 가 $ C_\rho / \tilde{r} $ 보다 작을 때 진짜 질서-$ r $ 행렬로의 선형 수렴이 보장됨을 보여준다.

ABSTRACT

We establish theoretical recovery guarantees of a family of Riemannian optimization algorithms for low rank matrix recovery, which is about recovering an $m imes n$ rank $r$ matrix from $p < mn$ number of linear measurements. The algorithms are first interpreted as iterative hard thresholding algorithms with subspace projections. Based on this connection, we show that provided the restricted isometry constant $R_{3r}$ of the sensing operator is less than $C_κ/\sqrt{r}$, the Riemannian gradient descent algorithm and a restarted variant of the Riemannian conjugate gradient algorithm are guaranteed to converge linearly to the underlying rank $r$ matrix if they are initialized by one step hard thresholding. Empirical evaluation shows that the algorithms are able to recover a low rank matrix from nearly the minimum number of measurements necessary.

연구 동기 및 목표

• 저질서 행렬 복원에서 리만 최적화 알고리즘에 대한 이론적 복원 보장을 수립하기 위해.
• 부분공간 투영을 통한 반복적 하드 테이블링과 리만 최적화를 연결하기 위해.
• 리만 경사하강법과 재시작된 리만 공액 경사하강법의 수렴성을 분석하기 위해.
• 수렴이 제한 이sov메트릭 상수 $ R_{3r} $ 와 행렬 조건수에 어떻게 의존하는지 정량화하기 위해.
• 좋은 초기값에서 선형 수렴이 보장되는 조건을 제공하기 위해.

제안 방법

• 리만 최적화 알고리즘을 부분공간 투영을 통한 반복적 하드 테이블링으로 해석하기 위해.
• 저질서 행렬 다양체 위에서 리만 경사하강법과 재시작된 리만 공액 경사하강법을 분석하기 위해.
• 프로베니우스 노름과 행렬 특이값을 사용하여 오차 전파의 재귀 관계 유도하기 위해.
• 삼항 재귀 관계를 통해 수축 경계 설정하기 위해 $ R_{2r} $, $ R_{3r} $, 조건수 $ \rho $ 를 포함하여.
• 유도법과 이차 재귀의 고유값 분석을 사용하여 임계 조건 하에서 선형 수렴을 증명하기 위해.
• $ \tau_1 $, $ \tau_2 $, $ \rho $ 를 정의하여 수렴 속도를 특성화하고 $ \mu < 1 $ 를 위한 충분 조건 유도하기 위해.

실험 결과

연구 질문

• RQ1 저질서 행렬 복원에 대해 리만 경사하강법이 선형으로 수렴하는 조건은 무엇인가?
• RQ2 제한 이sov메트릭 상수 $ R_{3r} $ 는 리만 최적화 알고리즘의 수렴에 어떻게 영향을 미치는가?
• RQ3 재시작된 리만 공액 경사하강법은 유사한 조건 하에서 선형 수렴을 달성할 수 있는가?
• RQ4 초기 추측치의 역할은 무엇이며, 일단 하드 테이블링이 어떻게 이를 향상시키는가?
• RQ5 수렴 분석에서 조건수 $ \rho $ 에 대한 의존성을 어떻게 완화할 수 있는가?

주요 결과

• 리만 경사하강법의 선형 수렴은 $ R_{3r} < C_\rho / \sqrt{r} $ 를 만족할 경우 보장되며, 여기서 $ C_\rho $ 는 조건수 $ \rho $ 에 따라 달라진다.
• 재시작된 리만 공액 경사하강법 역시 동일한 $ R_{3r} $ 조건 하에서 선형 수렴을 달성한다.
• 초기점이 일단 하드 테이블링을 통해 확보될 경우, 해에 충분한 근접성을 확보함으로써 수렴이 확립된다.
• 오차는 $ c_l \leq \mu^l c_0 $ 와 같이 감소하며, 여기서 $ \mu < 1 $ 는 $ R_{2r} $, $ R_{3r} $, 조건수로부터 유도된다.
• 수렴 속도는 $ \tau_1 $, $ \tau_2 $, 합 $ \gamma = \tau_1 + \tau_2 $ 에 따라 달라지며, $ \gamma < 1 $ 이면 $ \mu < 1 $ 를 위한 충분 조건이 된다.
• 실험 결과는 알고리즘이 복원에 필요한 거의 최소 수의 측정값에서 저질서 행렬을 회복함을 확인한다.