[논문 리뷰] Improved Algorithms for Matrix Recovery from Rank-One Projections

Mohammadreza Soltani, Chinmay Hegde|arXiv (Cornell University)|2017. 05. 21.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 5

한 줄 요약

이 논문은 노이즈가 있는 랭크-원 투영으로부터 저랭크 행렬 복원을 위한 두 가지 새로운 비볼록 알고리즘, EP-ROM과 AP-ROM을 제안한다. 무작위 블록 크릴로프 부분공간 SVD와 기울기 기반 업데이트를 활용함으로써, 매트릭스 조건수에 의존하지 않는 샘플 복잡도를 갖는 선형 수렴을 달성하여 거의 선형 실행 시간을 보장하고 모든 저랭크 행렬에 대해 조건부 성능을 제공한다.

ABSTRACT

We consider the problem of estimation of a low-rank matrix from a limited number of noisy rank-one projections. In particular, we propose two fast, non-convex \emph{proper} algorithms for matrix recovery and support them with rigorous theoretical analysis. We show that the proposed algorithms enjoy linear convergence and that their sample complexity is independent of the condition number of the unknown true low-rank matrix. By leveraging recent advances in low-rank matrix approximation techniques, we show that our algorithms achieve computational speed-ups over existing methods. Finally, we complement our theory with some numerical experiments.

연구 동기 및 목표

• 차원에 따라 세제곱적으로 증가하는 계산 비용을 가지는 기존 볼록 및 비볼록 행렬 복원 방법의 계산 비효율성 문제를 해결한다.
• 기존 비볼록 방법이 정확한 초기화에 의존하고 매트릭스 조건수에 따라 성능이 달라지는 문제를 해결한다.
• 고차원 환경에서 랭크-원 투영으로부터의 행렬 복원을 위한 빠르고 확장 가능한 알고리즘을 개발한다.
• 스펙트럼 또는 조건수 가정 없이 거의 최적의 샘플 복잡도와 실행 시간을 달성한다.
• 매트릭스 센싱, 공분산 스케치링, 다항식 신경망 학습과 같은 응용 분야에서의 실용적 구현을 가능하게 한다.

제안 방법

• 랭크-원 투영으로부터의 행렬 복원을 위한 두 가지 비볼록이고 적절한 알고리즘인 EP-ROM과 AP-ROM을 제안한다.
• 전체 SVD를 수행하지 않고도 저랭크 근사를 계산하기 위해 무작위 블록 크릴로프 부분공간 SVD(MBK-SVD)를 사용한다.
• 관측된 측정치와 예측된 측정치 간 잔차를 기반으로 한 기울기 업데이트 단계를 설계한다.
• 저랭크 구조를 유지하기 위해 MBK-SVD와 크릴로프 반복을 사용해 머리와 꼬리 근사 투영을 통합한다.
• 기울기의 행렬-벡터 곱을 명시적인 행렬 형성 없이 효율적으로 계산하기 위해 연산자 $β$를 활용한다.
• 각 반복에서 적절한 스텝 사이즈 선택과 부분공간 투영을 통해 선형 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 전체 SVD 계산을 피하면서도 선형 수렴을 달성할 수 있는 랭크-원 투영에서의 행렬 복원 알고리즘을 설계할 수 있는가?
• RQ2 진짜 저랭크 매트릭스의 조건수에 의존하지 않는 복원 알고리즘을 만들 수 있는가?
• RQ3 고차원 환경에서 거의 최적의 샘플 복잡도를 확보하면서도 거의 선형 실행 시간을 유지할 수 있는가?
• RQ4 무작위 블록 크릴로프 방법의 사용이 행렬 복원의 계산 효율성을 어떻게 향상시키는가?
• RQ5 비볼록 행렬 복원에서 샘플 복잡도와 실행 시간 사이의 이론적 및 실증적 트레이드오프는 어떠한가?

주요 결과

• 제안된 AP-ROM 알고리즘은 총 실행 시간이 $\widetilde{{\mathcal{O}}}(p^{2}r^{3}\log^{5}(p)\log^{2}(\frac{1}{ε}))$로, 이전 방법이 요구하는 $O(p^3)$ 연산보다 훨씬 빠르다.
• EP-ROM은 매트릭스 조건수에 영향을 받지 않는 샘플 복잡도 $\mathcal{O}(pr^{2}\log^{4}(p)\log(\frac{1}{\epsilon}))$로 선형 수렴을 달성한다.
• 알고리즘은 조건수에 무관하므로, 악조건 매트릭스에 대해서도 성능 저하가 발생하지 않는다.
• 수치 실험을 통해 제안된 방법이 샘플 복잡도와 실행 시간 사이에 유리한 트레이드오프를 제공하는 것으로 확인되었다.
• MBK-SVD의 사용은 기울기 근사 계산을 효율적으로 가능하게 하여 전체 SVD의 필요성을 줄이고 $p$에 대해 거의 선형 스케일링을 달성한다.
• 이론적 분석에 따르면 AP-ROM의 실행 시간은 $\mathcal{O}(p^{2}r^{3}\log^{5}(p)\log^{2}(\frac{1}{\epsilon}))$로 스케일링되며, 스펙트럼 의존성이 없다.