[논문 리뷰] Recursive Importance Sketching for Rank Constrained Least Squares: Algorithms and High-order Convergence

Yuetian Luo, Wen Huang외 2명|arXiv (Cornell University)|2020. 11. 17.

Sparse and Compressive Sensing Techniques참고 문헌 95인용 수 7

한 줄 요약

이 논문은 고정질량 행렬 위의 리만 가우스-뉴턴 최적화와 깊은 연관성을 지닌, 조정이 필요 없는 순서 제약 최소 제곱 문제를 위한 RISRO를 제안한다. RISRO는 순차적 중요도 스케칭 기반의 결정적 스케칭 프레임워크를 사용하며, 국소적으로 이차 및 이차-선형 수렴 속도를 달성한다. 이는 기존 방법보다 빠른 속도와 높은 정확도를 보이며, 순서 제약 최소 제곱 문제에 대해 강력한 이론적 수렴 보장을 제공한다.

ABSTRACT

In this paper, we propose {\it \underline{R}ecursive} {\it \underline{I}mportance} {\it \underline{S}ketching} algorithm for {\it \underline{R}ank} constrained least squares {\it \underline{O}ptimization} (RISRO). The key step of RISRO is recursive importance sketching, a new sketching framework based on deterministically designed recursive projections, which significantly differs from the randomized sketching in the literature \citep{mahoney2011randomized,woodruff2014sketching}. Several existing algorithms in the literature can be reinterpreted under this new sketching framework and RISRO offers clear advantages over them. RISRO is easy to implement and computationally efficient, where the core procedure in each iteration is to solve a dimension-reduced least squares problem. We establish the local quadratic-linear and quadratic rate of convergence for RISRO under some mild conditions. We also discover a deep connection of RISRO to the Riemannian Gauss-Newton algorithm on fixed rank matrices. The effectiveness of RISRO is demonstrated in two applications in machine learning and statistics: low-rank matrix trace regression and phase retrieval. Simulation studies demonstrate the superior numerical performance of RISRO.

연구 동기 및 목표

• 비볼록적이고 NP-난이도인 질량 제약 최소 제곱 문제를 효율적으로 해결하고, 증명 가능한 수렴 보장을 확보한다.
• 고산도 계산 비용과 큰 매개변수 공간 등의 제약을 가진 볼록 이완 방법의 한계를 극복하기 위해 질량 제약 조건을 직접 강제한다.
• 1차 방법과 유사한 반복 복잡도를 유지하면서도 기존 비볼록 해법보다 더 빠른 수렴 속도를 가지는 알고리즘을 개발한다.
• 유사한 조건 하에서 이차 및 이차-선형 수렴 속도를 이론적으로 확보함으로써 이전 연구에서의 선형 수렴보다 향상된 성능을 달성한다.
• 트레이스 회귀 및 위상 복원과 같은 낮은 질량 행렬 복원 작업 전반에서 뛰어난 경험적 성능을 입증한다.

제안 방법

• 랜덤 스케칭 대신 결정적으로 설계된 순차적 투영을 사용하는 새로운 스케칭 프레임워크인 순차적 중요도 스케칭을 도입한다.
• 각 반복 단계에서 스케칭 과정을 통해 식별된 저차원 부분공간에서 차원이 감소된 최소 제곱 문제를 해결한다.
• 고정질량 행렬의 구조를 활용하여 반복값을 동적으로 업데이트되는 저질량 다양체 위로 투영한다.
• 질량 $ r < p_1, p_2, n $ 일 때, 반복 복잡도가 교차 최소화 및 1차 방법과 동일한 수준을 유지함으로써 계산 효율성을 확보한다.
• RISRO를 고정질량 다양체 위의 리만 가우스-뉴턴 알고리즘과 연결함으로써 더 깊은 기하학적 해석을 드러낸다.
• 시뮬레이션에서는 스펙트럼 초기화를 사용하고, 제약 이완성질(Restricted Isometry Property, RIP)과 강력한 초기화 조건을 가정하여 이론적 수렴 분석을 수행한다.

실험 결과

연구 질문

• RQ1 질량 제약 최소 제곱 문제에 대한 비볼록 최적화 알고리즘이 낮은 반복 복잡도를 유지하면서도 고차수렴(예: 이차 수렴)을 달성할 수 있는가?
• RQ2 랜덤 스케칭에 비해 순차적 중요도 스케칭은 수렴 속도와 안정성 측면에서 어떻게 비교되는가?
• RQ3 유사한 조건 하에서 RISRO의 이론적 수렴 속도는 무엇이며, 이차 수렴인지 이차-선형 수렴인지 확인되는가?
• RQ4 RISRO는 고정질량 다양체 위의 가우스-뉴턴 최적화 프레임워크와 연결될 수 있는가?
• RQ5 RISRO는 하이퍼파rameter 조정이 필요한가? 그리고 낮은 질량 복원 작업에서 최신 기술 대비 실용적 성능은 어떠한가?

주요 결과

• RISRO는 유사한 조건 하에서 국소적으로 이차-선형 및 이차 수렴 속도를 달성하며, 이는 이전 알고리즘의 선형 수렴보다 크게 빠르다.
• 상대적 RMSE가 $10^{-10}$일 때, $\kappa = 1$인 경우 RISRO는 약 5회 반복만으로 다른 알고리즘 대비 약 1/5의 실행 시간을 소요하며, 불안정한 경우($\kappa = 500$)에는 더욱 뚜렷한 성능 향상을 보인다.
• 낮은 질량 행렬 트레이스 회귀에서, RISRO는 SVP, 교차 최소화, 경사하강법, 핵노름 최소화보다 더 빠르게 수렴하며, 특히 노이즈가 있는 환경($\sigma = 10^{-6}$)에서 두각을 나타낸다.
• 위상 복원에서, RISRO는 위팅거 플로우(WF) 및 절삭 위팅거 플로우(TWF)보다 훨씬 빠른 시간 내에 진짜 신호를 높은 정확도로 복원한다. 시뮬레이션 플롯을 통해 이를 입증하였다.
• 행렬 완성 및 강건한 주성분 분석에서 RISRO는 성공적인 복원(상대적 RMSE < $10^{-2}$)을 달성하기 위해 필요한 표본 수가 가장 적다. 이는 다른 알고리즘을 뛰어넘는 성능을 보였다.
• 경험적 결과는 RISRO가 행렬 완성 및 강건한 주성분 분석에서 이차 수렴을 달성하고 있음을 보여주며, 이는 현재의 RIP 기반 분석 외에도 이론적 보장이 확장될 수 있음을 시사한다.