[논문 리뷰] Matrix Completion and Related Problems via Strong Duality

Maria-Florina Balcan, Yingyu Liang외 2명|arXiv (Cornell University)|2017. 04. 27.

Sparse and Compressive Sensing Techniques참고 문헌 63인용 수 6

한 줄 요약

이 논문은 특정 이중 조건 하에서 제로 이중 갭을 보장하는 새로운 분석 프레임워크를 도입하여, 광범위한 비볼록 행렬 분해 문제에 대해 강한 이중성을 확립한다. 이는 행렬 완성과 강건한 PCA에서 거의 최적의 샘플 복잡도를 갖는 볼록 완화를 통해 정확한 복원이 가능함을 보여주며, 이중 볼록 프로그래밍을 통한 전역 최적화를 가능하게 한다.

ABSTRACT

This work studies the strong duality of non-convex matrix factorization problems: we show that under certain dual conditions, these problems and its dual have the same optimum. This has been well understood for convex optimization, but little was known for non-convex problems. We propose a novel analytical framework and show that under certain dual conditions, the optimal solution of the matrix factorization program is the same as its bi-dual and thus the global optimality of the non-convex program can be achieved by solving its bi-dual which is convex. These dual conditions are satisfied by a wide class of matrix factorization problems, although matrix factorization problems are hard to solve in full generality. This analytical framework may be of independent interest to non-convex optimization more broadly. We apply our framework to two prototypical matrix factorization problems: matrix completion and robust Principal Component Analysis (PCA). These are examples of efficiently recovering a hidden matrix given limited reliable observations of it. Our framework shows that exact recoverability and strong duality hold with nearly-optimal sample complexity guarantees for matrix completion and robust PCA.

연구 동기 및 목표

• 강한 이중성을 갖는 비볼록 행렬 분해 문제를 분석하기 위한 통합된 분석 프레임워크를 개발하는 것.
• 비볼록 행렬 분해 문제의 전역 최적해가 볼록인 이중 문제와 동일해지는 조건을 확립하는 것.
• 제안된 프레임워크 하에서 행렬 완성과 강건한 PCA에서 거의 최적의 샘플 복잡도로 정확한 복원을 달성하는 것.
• 비볼록 문제를 볼록 이중성을 통해 해결하는 데 이론적 기반을 제공하며, 행렬 분해를 초월한 응용에까지 적용 가능하도록 하는 것.

제안 방법

• 비볼록 문제를 라그랑주 승수 행렬 $\mathbf{\Lambda}$ 를 포함한 미니맥스 최적화로 표현하는 원-이중 공식화를 도입한다.
• 이중 문제는 $\max_{\mathbf{\Lambda}} -\frac{1}{2}\|\mathbf{\Lambda}\|_r^2 - H^*(\mathbf{\Lambda})$ 로 유도되며, 여기서 $\|\mathbf{\Lambda}\|_r^2$ 는 $r$ 개의 최대 제곱 특이값의 합을 나타낸다.
• 이중-이중 문제는 $\min_{\mathbf{M}} \|\mathbf{M}\|_{r*} + H(\mathbf{M})$ 로 공식화되며, $\|\mathbf{M}\|_{r*}$ 는 질량의 랭크 $r$ 으로 잘라낸 노름의 쌍대 노름을 의미한다.
• 이중-이중 문제의 볼록성을 활용하여, Douglas-Rachford와 같은 프록시멀 알고리즘을 통해 $\textsf{poly}(1/\epsilon)$ 수렴 속도로 효율적인 해를 도출한다.
• 행렬 완성과 강건한 PCA에 프레임워크를 적용하기 위해, 희소 성분에 대해 $H(\cdot)$ 를 $\ell_1$-노름, 저랭크 구조에 대해 항등함수로 선택한다.
• 관측 모델 간 복원 보장을 확장하기 위해 베르누이에서 균일 샘플링 모델로의 감소 기법을 사용한다.

실험 결과

연구 질문

• RQ1 비볼록 행렬 분해 문제에서 강한 이중성이 성립하는 조건은 무엇인가?
• RQ2 비볼록 행렬 분해 문제의 전역 최적해는 그 볼록 이중-이중 문제를 풀어 복원할 수 있는가?
• RQ3 제안된 프레임워크 하에서 행렬 완성과 강건한 PCA에서 정확한 복원을 위해 필요한 샘플 복잡도는 얼마인가?
• RQ4 이 프레임워크는 행렬 감지나 딕셔너리 학습과 같은 다른 비볼록 문제로 어떻게 확장될 수 있는가?

주요 결과

• 이중 조건이 만족될 경우 비볼록 행렬 분해 문제에서 강한 이중성이 성립하여 원-이중 문제 간 제로 이중 갭이 보장된다.
• 비볼록 문제의 전역 최적해는 그 볼록 이중-이중 문제의 해와 동일하며, 이는 볼록 완화를 통한 효율적 전역 최적화를 가능하게 한다.
• 행렬 완성의 경우 샘플 복잡도 $O(n r \log n)$ 으로 정확한 복원이 달성되며, 이는 정보 이론적 하한선에 로그 인자까지 일치한다.
• 강건한 PCA의 경우, 거의 최적의 샘플링 조건 하에서 저랭크 및 희소 성분 모두 정확히 복원됨을 보장한다.
• 이중-이중 문제의 볼록성 덕분에, Douglas-Rachford와 같은 프록시멀 알고리즘을 통해 $\epsilon$-정확도로 $\textsf{poly}(1/\epsilon)$ 시간 내에 해를 구할 수 있다.
• 이 프레임워크는 행렬 감지 및 딥 라인어 네트워크와 같은 문제로도 확장 가능하여, 두 사례 연구를 초월한 광범위한 적용 가능성을 시사한다.