[논문 리뷰] Stochastic Variance-reduced Gradient Descent for Low-rank Matrix Recovery from Linear Measurements

Xiao Zhang, Lingxiao Wang외 1명|arXiv (Cornell University)|2017. 01. 02.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 3

한 줄 요약

이 논문은 선형 측정에서 저질서 행렬 복원을 위한 새로운 스토하스틱 분산 감소 경사 하강법 알고리즘을 제안한다. 행렬 분해와 분산 감소를 활용하여 낮은 계산 복잡도로 선형 수렴을 달성한다. 최적의 샘플 복잡도와 수렴 속도를 확립하여 노이즈가 있는 설정에서는 최소 최대 통계 오차를, 노이즈가 없는 경우에는 정확한 복원을 달성한다. 이는 이론과 실무에서 모두 최신 기술을 능가한다.

ABSTRACT

We study the problem of estimating low-rank matrices from linear measurements (a.k.a., matrix sensing) through nonconvex optimization. We propose an efficient stochastic variance reduced gradient descent algorithm to solve a nonconvex optimization problem of matrix sensing. Our algorithm is applicable to both noisy and noiseless settings. In the case with noisy observations, we prove that our algorithm converges to the unknown low-rank matrix at a linear rate up to the minimax optimal statistical error. And in the noiseless setting, our algorithm is guaranteed to linearly converge to the unknown low-rank matrix and achieves exact recovery with optimal sample complexity. Most notably, the overall computational complexity of our proposed algorithm, which is defined as the iteration complexity times per iteration time complexity, is lower than the state-of-the-art algorithms based on gradient descent. Experiments on synthetic data corroborate the superiority of the proposed algorithm over the state-of-the-art algorithms.

연구 동기 및 목표

• 저질서 행렬 감지에 대한 기존 경사 기반 방법의 높은 계산 비용을 해결하기 위해.
• 반복 횟수와 각 반복의 계산 복잡도를 감소시켜 선형 수렴을 달성하는 효율적인 스토하스틱 최적화 알고리즘을 개발하기 위해.
• 노이즈가 있는 및 노이즈가 없는 행렬 복원 설정에 대한 이론적 보장을 수립하기 위해.
• 저질서 행렬 복원에서 최적의 샘플 복잡도와 통계 오차 비율을 달성하기 위해.
• 기존 최신 기술 대비 합성 데이터에서 뛰어난 경험적 성능을 입증하기 위해.

제안 방법

• 계산 비용을 감소시키기 위해 행렬 분해를 사용하여 행렬 감지를 비볼록 최적화 문제로 공식화한다: X = UV⊤.
• 스토하스틱 최적화를 가능하게 하기 위해 목적 함수를 n개의 구성 함수 ℓi(UV⊤)의 합으로 재정의한다.
• Johnson과 Zhang(2013)의 영감을 얻어, 각 반복에서 경사의 분산을 감소시키는 스토하스틱 분산 감소 경사 하강법을 도입한다.
• 분산과 계산 부담을 균형 잡기 위해 각 구성 함수당 b개의 관측치를 포함하는 미니배치 구조를 사용한다.
• 수렴성과 안정성을 향상시키기 위해 재가중 경사 업데이트 전략을 적용한다.
• 수렴성을 분석하기 위해 제한 이sovolumetric 성질(RIP)과 행렬 편향 경계와 같은 이론적 도구를 사용한다.

실험 결과

연구 질문

• RQ1 스토하스틱 분산 감소 경사 방법은 선형 측정에서 저질서 행렬 복원에 대해 선형 수렴을 달성할 수 있는가?
• RQ2 제안된 알고리즘이 노이즈가 있는 상황에서 최소 최대 최적 통계 오차를 달성하는가?
• RQ3 노이즈가 없는 경우에 최적의 샘플 복잡도로 진짜 저질서 행렬을 정확히 복원할 수 있는가?
• RQ4 기존 경사 기반 알고리즘 대비 제안된 방법의 계산 복잡도는 어떻게 되는가?
• RQ5 기존 최신 기술 대비 합성 데이터에서 알고리즘의 경험적 성능은 어떠한가?

주요 결과

• 노이즈가 있는 설정에서는 알고리즘이 최소 최대 최적 통계 오차까지 선형으로 수렴하며, 하한 O(rd′/N)와 일치한다.
• 노이즈가 없는 경우에 알고리즘은 최적 샘플 복잡도 O(rd′)로 정확한 복원을 달성한다.
• 전체 계산 복잡도는 O((Nd′2 + κ²bd′2)log(1/ϵ))이며, 최신 기술의 경사 기반 방법보다 낮다.
• 알고리즘은 1/ϵ에 대해 로그적으로 증가하는 반복 횟수로 ϵ-정밀도를 달성하여 빠른 수렴을 나타낸다.
• 합성 데이터에서의 경험적 결과는 기존 알고리즘 대비 수렴 속도와 정밀도 면에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 알고리즘이 경사 분산과 헤시안 근사에 대한 стр레스한 경계를 통해 노이즈가 있는 및 없는 조건 모두에서 안정성과 수렴성을 유지함을 확인했다.