[論文レビュー] Recursive Importance Sketching for Rank Constrained Least Squares: Algorithms and High-order Convergence

Yuetian Luo, Wen Huang+2 more|arXiv (Cornell University)|Nov 17, 2020

Sparse and Compressive Sensing Techniques参考文献 95被引用数 7

ひとこと要約

本稿では、再帰的インポートランススケッチング—再帰的射影に基づく決定的スケッチングフレームワーク—を用いたランク制約付き最小二乗問題に対するチューニング不要なアルゴリズムRISROを提案する。RISROは局所的2次および2次線形収束率を達成し、既存手法を速度と精度の面で上回り、固定ランク行列上のリーマン幾何的ガウス＝ニュートン最適化と深い関係を確立する。

ABSTRACT

In this paper, we propose {\it \underline{R}ecursive} {\it \underline{I}mportance} {\it \underline{S}ketching} algorithm for {\it \underline{R}ank} constrained least squares {\it \underline{O}ptimization} (RISRO). The key step of RISRO is recursive importance sketching, a new sketching framework based on deterministically designed recursive projections, which significantly differs from the randomized sketching in the literature \citep{mahoney2011randomized,woodruff2014sketching}. Several existing algorithms in the literature can be reinterpreted under this new sketching framework and RISRO offers clear advantages over them. RISRO is easy to implement and computationally efficient, where the core procedure in each iteration is to solve a dimension-reduced least squares problem. We establish the local quadratic-linear and quadratic rate of convergence for RISRO under some mild conditions. We also discover a deep connection of RISRO to the Riemannian Gauss-Newton algorithm on fixed rank matrices. The effectiveness of RISRO is demonstrated in two applications in machine learning and statistics: low-rank matrix trace regression and phase retrieval. Simulation studies demonstrate the superior numerical performance of RISRO.

研究の動機と目的

• 非凸的でNP困難なランク制約付き最小二乗問題を、証明可能な収束保証のもとで効率的に解く挑戦に応える。
• 凸緩和法の限界（計算コストの高さとパラメータ空間の巨大さ）を克服し、直接的にランク制約を強制する。
• 1次手法と同等の1反復あたりの計算量を維持しつつ、既存の非凸ソルバーを上回る収束速度を実現するアルゴリズムを開発する。
• やや弱い条件下でも、2次および2次線形収束率という理論的収束レートを確立し、先行研究の線形収束を改善する。
• トレース回帰や位相再構築を含む低ランク行列回復タスクにおいて、強力な経験的性能を示す。

提案手法

• 確率的スケッチィングではなく、決定的に設計された再帰的射影を用いる新規なスケッチングフレームワーク「再帰的インポートランススケッチング」を導入する。
• 各反復で、スケッチングプロセスによって特定された低次元部分空間上で次元削減された最小二乗問題を解く。
• 固定ランク行列の構造を活用し、反復点を動的に更新される低ランク多様体上に射影する。
• ランク $ r \lt p_1, p_2, n $ の場合、反復ごとの計算量を逐次最小化法や1次手法と同等に保つことで計算効率を確保する。
• RISROを固定ランク多様体上のリーマン幾何的ガウス＝ニュートンアルゴリズムと結びつけ、より深い幾何的解釈を明らかにする。
• シミュレーションではスペクトル初期化を用い、制限等方性性（RIP）および強い初期化仮定の下で収束性を理論的に分析する。

実験結果

リサーチクエスチョン

• RQ1 ランク制約付き最小二乗問題に対する非凸最適化アルゴリズムが、低1反復コストを維持しつつ、高次収束（例：2次収束）を達成できるか。
• RQ2 再帰的インポートランススケッチングは、確率的スケッチィングと比較して収束速度と安定性の面でどのように異なるか。
• RQ3 やや弱い仮定のもとでRISROの理論的収束レートは何か。2次収束か2次線形収束を達成するか。
• RQ4 RISROは固定ランク多様体上のリーマン最適化フレームワーク（例：ガウス＝ニュートン）と結びつけられるか。
• RQ5 RISROはハイパーパrameterのチューニングを必要とするか。低ランク回復タスクにおいて、最先端手法と比較して実際の性能はいかが。

主な発見

• RISROはやや弱い条件下でも局所的2次線形収束および2次収束率を達成し、先行アルゴリズムの線形収束を著しく上回る。
• 相対的RMSEが $10^{-10}$ の場合、$\kappa = 1$ のときRISROはわずか5反復で、他のアルゴリズムと比較して実行時間の約1/5で到達する。さらに、悪条件な状況（$\kappa = 500$）ではさらに顕著な高速化が得られる。
• 低ランク行列トレース回帰では、SVP、逐次最小化、勾配降下、核ノルム最小化と比較して、RISROがより速く収束する。特にノイズが多い状況（$\sigma = 10^{-6}$）で顕著である。
• 位相再構築では、シミュレーションプロットに示すように、Wirtinger Flow（WF）やTruncated Wirtinger Flow（TWF）と比較して、真の信号をはるかに短時間で高精度に回復する。
• トレース回帰および位相再構築の両タスクにおいて、RISROは成功回復（相対的RMSE < $10^{-2}$）に必要な最小のサンプルサイズを達成し、他のアルゴリズムを上回る。
• 経験的結果から、RISROは行列補完およびロバストPCAにおいて2次収束を達成していることが示され、理論的保証が現在のRIPに基づく解析を越えて成り立つ可能性がある。