[논문 리뷰] On the Provable Convergence of Alternating Minimization for Matrix Completion.

Moritz Hardt|arXiv (Cornell University)|2013. 12. 03.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 14

한 줄 요약

이 논문은 낮은 질서 행렬 복원 문제에 대해 증명 가능하게 수렴하는 교대 최소화 알고리즘을 제안하며, 기존 작업에 비해 질서 수와 조건 수에 대해 최소 제곱 인자만큼 샘플 복잡도를 감소시켜 선형 수렴 속도를 달성한다. 이 방법은 부분 공간 반복의 강력한 분석을 활용하고, 중간 반복 단계의 일관성 제어 기법을 도입한다.

ABSTRACT

Alternating Minimization is a widely used and empirically successful framework for Matrix Completion and related low-rank optimization problems. We give a new algorithm based on Alternating Minimization that provably recovers an unknown low-rank matrix from a random subsample of its entries under a standard incoherence assumption while achieving a linear convergence rate. Compared to previous work our results reduce the provable sample complexity requirements of the Alternating Minimization approach by at least a quartic factor in the rank and the condition number of the unknown matrix. These improvements apply when the matrix is exactly low-rank and when it is only close to low-rank in the Frobenius norm. Underlying our work is a new robust convergence analysis of the well-known Subspace Iteration algorithm for computing the dominant singular vectors of a matrix also known as the Power Method. This viewpoint leads to a conceptually simple understanding of Alternating Minimization that we exploit. Additionally, we contribute a new technique for controlling the coherence of intermediate solutions arising in iterative algorithms. These techniques may be of interest beyond their application here.

연구 동기 및 목표

• 낮은 질서 행렬 복원 문제에서 교대 최소화의 증명 가능 수렴 보장을 확립하기 위해.
• 질서 수와 조건 수에 대해 최소 제곱 인자만큼 샘플 복잡도를 감소시켜 낮은 질서 행렬의 복원을 위한 요구 샘플 수를 줄이기 위해.
• 프로베니우스 노름에서 근사적으로 낮은 질서인 행렬에 대해서도 수렴 보장을 확장하기 위해.
• 노이즈 또는 완전하지 않은 데이터를 다룰 수 있도록 반복적 낮은 질서 근사에서 부분 공간 반복의 강력한 분석을 개발하기 위해.
• 반복적 행렬 복원 알고리즘에서 중간 해의 일관성을 제어하기 위한 새로운 기법을 도입하기 위해.

제안 방법

• 알고리즘은 관측된 요소의 무작위 부분집합에서부터 알려지지 않은 낮은 질서 행렬의 행 및 열 공간을 반복적으로 추정하기 위해 교대 최소화를 활용한다.
• 주어진 행렬의 주요 특이부공간을 계산하기 위한 부분 공간 반복(거듭제곱 방법)의 강력한 수렴 분석을 활용하여, 데이터가 완전하지 않을 경우에도 안정성을 확보한다.
• 중간 해 행렬의 일관성을 제한하기 위해 새로운 일관성 제어 메커니즘이 도입되며, 이는 반복 과정 중에 악조건화를 방지한다.
• 기존의 표준 일관성 가정 하에 선형 수렴 속도가 수립된다.
• 정확히 낮은 질서인 경우와 프로베니우스 노름에서 근사적으로 낮은 질서인 경우에 대해 이론적 보장이 도출된다.
• 기존의 증명 가능한 결과에 비해 질서 수와 조건 수에 대한 의존도를 제곱 인자만큼 감소시켜 샘플 복잡도를 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 일관성 가정 하에서 샘플 복잡도를 감소시킨 조건에서, 행렬 복원 문제에 대한 교대 최소화가 선형으로 수렴함을 증명할 수 있는가?
• RQ2 반복적 낮은 질서 알고리즘에서 중간 해의 일관성을 어떻게 제어할 수 있을까? 이는 안정적인 수렴을 보장하기 위함이다.
• RQ3 교대 최소화를 사용하여 낮은 질서 행렬을 증명 가능하게 복원하기 위해 필요한 최소 샘플 복잡도는 얼마인가?
• RQ4 부분 공간 반복의 수렴 분석을 완전하지 않거나 노이즈가 있는 데이터를 다룰 수 있도록 확장할 수 있는가?
• RQ5 이론적 보장은 질서가 근사적으로 낮은 행렬로 어떻게 확장되는가?

주요 결과

• 제안된 알고리즘은 표준 일관성 가정 하에서 행렬 복원 문제에 대해 선형 수렴을 달성한다.
• 기존의 증명 가능한 결과에 비해 질서 수와 조건 수에 대해 최소 제곱 인자만큼 샘플 복잡도가 감소한다.
• 이 방법은 프로베니우스 노름에서 정확히 낮은 질서인 경우와 근사적으로 낮은 질서인 경우 모두 적용 가능하다.
• 새로운 부분 공간 반복의 강력한 분석을 통해 데이터가 완전하지 않을 경우에도 안정적인 수렴이 가능하다.
• 새로운 일관성 제어 기법을 통해 반복 과정 전반에 걸쳐 중간 해가 잘 조절된 상태를 유지한다.
• 이론적 프레임워크는 부분 공간 반복을 통한 교대 최소화의 개념적으로 단순하고 원칙적인 이해를 제공한다.