[논문 리뷰] Leave-one-out Approach for Matrix Completion: Primal and Dual Analysis

Lijun Ding, Yudong Chen|arXiv (Cornell University)|2018. 03. 20.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 9

한 줄 요약

이 논문은 행렬 완성 알고리즘에 대해 날개 없는 수렴 보장을 확립하기 위해 이탈한 하나의 관측을 고려하는 분석 프레임워크를 제안한다. 비정규화된 투영 경사 하강법(PGD)에 대해 처음으로 무한노름에서 선형 수렴을 확보하고, 조건수에 영향을 받지 않는 핵심노름 최소화(NNM)의 최적 샘플 복잡도 $\mathcal{O}(\mu r \log(\mu r) d \log d)$를 달성한다.

ABSTRACT

In this paper, we introduce a powerful technique based on Leave-one-out analysis to the study of low-rank matrix completion problems. Using this technique, we develop a general approach for obtaining fine-grained, entrywise bounds for iterative stochastic procedures in the presence of probabilistic dependency. We demonstrate the power of this approach in analyzing two of the most important algorithms for matrix completion: (i) the non-convex approach based on Projected Gradient Descent (PGD) for a rank-constrained formulation, also known as the Singular Value Projection algorithm, and (ii) the convex relaxation approach based on nuclear norm minimization (NNM). Using this approach, we establish the first convergence guarantee for the original form of PGD without regularization or sample splitting}, and in particular shows that it converges linearly in the infinity norm. For NNM, we use this approach to study a fictitious iterative procedure that arises in the dual analysis. Our results show that \NNM recovers an $ d $-by-$ d $ rank-$ r $ matrix with $\mathcal{O}(μr \log(μr) d \log d )$ observed entries. This bound has optimal dependence on the matrix dimension and is independent of the condition number. To the best of our knowledge, this is the first sample complexity result for a tractable matrix completion algorithm that satisfies these two properties simultaneously.

연구 동기 및 목표

• 반복 과정과 관측된 항목 간의 확률적 의존성 하에서 반복적 행렬 완성 알고리즘을 분석하는 데 도전하는 것.
• 이전 방법들이 비현실적인 가정에 의존하거나 부분적인 경계를 도출한다는 한계를 극복하는 것.
• 행렬 완성에서 원본 및 이중 절차를 모두 분석하기 위해 이탈한 하나의 관측 기반 통합 프레임워크를 개발하는 것.
• 비볼록 PGD 및 볼록 NNM 알고리즘에 대해 날카롭고 항목 기반의 수렴 보장을 확립하는 것.

제안 방법

• 논문은 반복 절차에서 개별 항목에 대한 의존성 영향을 분리하기 위해 이탈한 하나의 관측 기법을 사용한다.
• 이 기법을 사용하여 질서 제약이 있는 행렬 완성에 대해 투영 경사 하강법(PGD)의 원본 경로를 분석한다.
• 유사한 기법을 핵심노름 최소화(NNM) 분석에서 나타나는 허구적인 이중 반복 절차에 적용한다.
• 특히 $\|\mathcal{H}_{\Omega}^{(-i)}(A)\|_{\text{op}}$를 통한 랜덤 선형 연산자의 연산자 노름에 대한 균일한 경계를 이용하여 행렬 베르누이 부등식을 기반으로 한다.
• 이탈한 하나의 관측 편향을 통해 의존성을 철저히 제어함으로써 $\|\theta^t - \theta^*\|_\infty$의 항목 기반 수렴을 확립한다.
• 엄밀한 고확률 경계를 도출하기 위해 스펙트럼 노름의 변동형 표현과 랭크 구조가 있는 행렬 분해를 분석에 활용한다.

실험 결과

연구 질문

• RQ1 이탈한 하나의 관측 분석은 의존적인 반복을 가진 반복적 행렬 완성 알고리즘에 대해 항목 기반 수렴 보장을 제공할 수 있는가?
• RQ2 조건수에 영향을 받지 않는 행렬 완성에서 핵심노름 최소화(NNM)의 최적 샘플 복잡도는 무엇인가?
• RQ3 비정규화된 투영 경사 하강법(PGD)은 저랭크 행렬 완성에서 무한노름에서 선형 수렴을 보이는가?
• RQ4 이탈한 하나의 관측 프레임워크는 행렬 완성에서 원본(PGD) 및 이중(NNM) 절차의 분석을 통합할 수 있는가?
• RQ5 정확한 복원을 위해 필요한 관측 항목 수의 가장 날카운 경계는 무엇인가?

주요 결과

• 논문은 행렬 완성에서 비정규화된 투영 경사 하강법(PGD)에 대해 처음으로 무한노름에서 선형 수렴을 확립한다.
• 핵심노름 최소화(NNM)의 경우, $\mathcal{O}(\mu r \log(\mu r) d \log d)$의 샘플 복잡도를 달성하며, 이는 치수에 대해 최적이며 조건수에 영향을 받지 않는다.
• 이탈한 하나의 관측 프레임워크는 반복 절차에서 의존성을 분석하는 데 핵심적인 항목 기반 경계를 가능하게 한다.
• 분석 결과, 질서-$r$ 행렬에 대해 $\|\mathcal{H}_{\Omega}^{(-i)}(A)\|_{\text{op}} \leq 2c\sqrt{\frac{rd\log d}{p}}\|A\|_{\infty}$가 고확률로 성립함을 보여준다.
• 이 경계는 모든 $i \in [d]$에 대해 균일하며, 대칭 및 비대칭 행렬 완성 모델 모두에서 성립한다.
• 결과는 샘플 복잡도가 $d$와 $r$에 대해 최적이며, $\mu$ (일관성)에 대한 의존성이 날카롭게 유지됨을 보여준다.