[논문 리뷰] Nonconvex Rectangular Matrix Completion via Gradient Descent without $\ell_{2,\infty}$ Regularization

Ji Chen, Dekai Liu외 1명|arXiv (Cornell University)|2019. 01. 18.

Sparse and Compressive Sensing Techniques참고 문헌 45인용 수 9

한 줄 요약

이 논문은 ℓ₂,∞ 정규화 없이 순수한 경사하강법를 사용하는 비볼록 직사각형 행렬 완성 방법을 제안하며, 이전 작업에 비해 훨씬 향상된 샘플링 비율 O(μ²r²κ¹⁴log n / n) 하에서 정확한 복원을 달성한다. 분석은 이전의 양의 정부호 행렬 분석 결과를 확장하며, 정규화가 필요 없이도 이론적 보장을 유지하기 위해 정교한 이탈리프-아웃 분석 기법을 도입한다.

ABSTRACT

The analysis of nonconvex matrix completion has recently attracted much attention in the community of machine learning thanks to its computational convenience. Existing analysis on this problem, however, usually relies on $\ell_{2,\infty}$ projection or regularization that involves unknown model parameters, although they are observed to be unnecessary in numerical simulations, see, e.g., Zheng and Lafferty [2016]. In this paper, we extend the analysis of the vanilla gradient descent for positive semidefinite matrix completion proposed in Ma et al. [2017] to the rectangular case, and more significantly, improve the required sampling rate from $O(\operatorname{poly}(κ)μ^3 r^3 \log^3 n/n )$ to $O(μ^2 r^2 κ^{14} \log n/n )$. Our technical ideas and contributions are potentially useful in improving the leave-one-out analysis in other related problems.

연구 동기 및 목표

• 이전 연구에서 이론적으로 필요로 하지만 수치적으로 활성화되지 않는 ℓ₂,∞ 정규화를 비볼록 행렬 완성에서 제거하기 위해.
• 순수한 경사하강법의 이론적 분석을 양의 정부호 행렬에서 일반적인 직사각형 낮은 질서 행렬 완성으로 확장하기 위해.
• 이전의 O(poly(κ)μ³r³log³n / n)에서 O(μ²r²κ¹⁴log n / n)로 샘플링 복잡도를 향상시켜 조건수와 질서에 대한 의존도를 크게 감소시키기 위해.
• 비볼록 행렬 완성에 적용 가능한 새로운 이론적 기법인 정교한 이탈리프-아웃 분석 기법을 개발하기 위해.

제안 방법

• 낮은 질서 분해 M ≈ XYᵀ를 기반으로 하는 비볼록 최적화 문제를 제안하며, 관측된 요소들에 대한 최소 제곱 손실을 ℓ₂,∞ 정규화 없이 최소화한다.
• 투영 또는 정규화에 의존하지 않기 위해 스펙트럼 초기화를 사용한 순수한 경사하강법을 적용한다.
• 반복값의 진화를 제어하고 반복값이 진짜 요소에서 벗어나지 않도록 보장하기 위해 새로운 이탈리프-아웃 분석 프레임워크를 도입한다.
• 반복값 Xᵗ⁽ˡ⁾, Yᵗ⁽ˡ⁾을 진짜 요소와 정렬하기 위해 회전 행렬 Rᵗ⁽ˡ⁾을 사용하며, 이는 정규 직교 프로크루스테스 문제를 통해 비교를 가능하게 한다.
• 무작위 행렬 이론과 비균일성 가정을 사용하여 기울기와 헤시안의 농도 한계를 유도한다.
• 반복값이 회전된 진짜와 추정된 값 사이의 차이를 분석함으로써 인자 행렬의 오차에 대한 재귀적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 순수한 경사하강법는 ℓ₂,∞ 정규화나 투영 없이도 직사각형 낮은 질서 행렬 완성에서 정확한 행렬 복원을 달성할 수 있는가?
• RQ2 정규화 없이 비볼록 최적화를 사용할 때 정확한 복원을 위해 필요한 최소 샘플링 비율은 무엇인가?
• RQ3 행렬의 조건수와 비균일성은 수렴성과 샘플링 복잡도에 어떤 영향을 미치는가?
• RQ4 이탈리프-아웃 분석 기법은 정규화 없이 비볼록 행렬 완성에 확장 가능한가?
• RQ5 실제 수치 계산에서는 정규화가 거의 영향을 주지 않음에도 불구하고, 비볼록 행렬 완성에서 정규화의 이론적 역할은 무엇인가?

주요 결과

• 논문은 ℓ₂,∞ 정규화 없이도 순수한 경사하강법를 사용하여 O(μ²r²κ¹⁴log n / n)의 샘플링 비율 하에서 낮은 질서 행렬의 정확한 복원을 확립한다.
• 향상된 샘플링 비율은 조건수 κ에 대한 의존도를 poly(κ)에서 κ¹⁴로 감소시켜 이론적으로 중요한 개선을 이룬다.
• 분석 결과, 수렴성이나 정확한 복원을 위해 ℓ₂,∞ 정규화가 필수적인 것은 아님을 보여주며, 오랫동안 남아있던 이론적 격차를 해결한다.
• 이번 연구에서 개발한 이탈리프-아웃 기법은 낮은 질서 행렬 복원에서 비볼록 최적화를 분석하는 데 새로운 프레임워크를 제공한다.
• 스펙트럼 초기화와 적절한 스텝 사이즈 하에서 전역 최소값으로 수렴하며, 오차 전파에 대한 명시적 경계를 확보한다.