[論文レビュー] Sketchy Decisions: Convex Low-Rank Matrix Optimization with Optimal Storage

Alp Yurtsever, Madeleine Udell+2 more|arXiv (Cornell University)|Feb 22, 2017

Sparse and Compressive Sensing Techniques被引用数 61

ひとこと要約

この論文は SketchyCGM を提案します。これは、フルマトリクスを保存せずに近似的に最適解を得るための小規模なランダムスケッチを用いる、凸型の低ランク行列最適化のストレージ最適アルゴリズムです。

ABSTRACT

This paper concerns a fundamental class of convex matrix optimization problems. It presents the first algorithm that uses optimal storage and provably computes a low-rank approximation of a solution. In particular, when all solutions have low rank, the algorithm converges to a solution. This algorithm, SketchyCGM, modifies a standard convex optimization scheme, the conditional gradient method, to store only a small randomized sketch of the matrix variable. After the optimization terminates, the algorithm extracts a low-rank approximation of the solution from the sketch. In contrast to nonconvex heuristics, the guarantees for SketchyCGM do not rely on statistical models for the problem data. Numerical work demonstrates the benefits of SketchyCGM over heuristics.

研究の動機と目的

• ストレージが主要なボトルネックとなる convex な低ランク行列最適化問題のクラスを動機づけ、 formalize する。
• 解の低ランク近似を provably に計算するストレージ最適アルゴリズムを導入する。
• 全ての決定変数を保持することを避けるためのランダムスケッチ手法を開発・統合する。
• CGM のような条件下で低ランク解へ収束することを理論的保証および数値的証拠で示す。

提案手法

• 条件付き勾配法 (CGM) をメモリ効率設定へ拡張し、双対変数 z = A X と小型の X のランダムスケッチを維持する。
• X を形成せずに z およびスケッチを更新するため、A* (∇f(A X)) を用いた MaxSingVec による 1 次の更新方向を用いる。
• Ω および Ψ をランダム行列とする Y = X Ω および W = Ψ X の二つのスケッチを維持し、最適化後に rank-r の近似を再構成可能にする。
• Q = orth(Y) および B = (Ψ Q)† W を用いてスケッチから rank-r 行列 Ŷ を再構成し、Ŵ = Q [B]r を得る。
• デュアル性ギャップに基づく停止規則を提供し、再構成された Ŷ が近似的に最適な rank-r 近似となることを保証する。
• 更新ステップ (MinEig) の適応を含む PSD (位相復元) 問題への拡張と、ストレージ Θ(d + r(m+n)) の維持。

実験結果

リサーチクエスチョン

• RQ1 ストレージが Θ(d + r(m+n)) という情報理論的境界に近い形で、Θ(mn) ではなく実現可能な convex な低ランク行列最適化問題を解決できるのか。
• RQ2 決定変数のランダムスケッチが、CGM のような更新の下で証明可能な低ランク解への収束を許すのか。
• RQ3 スケッチから回収された rank-r 近似の再構成保証はどのようで、真の解とどう比較されるのか。
• RQ4 SketchyCGM のフレームワークを PSD/位相復元問題へ拡張し、証明可能な保証を得られるのか。
• RQ5 大規模な位相回復および行列完成の実例において、従来の凸法・非凸法と比較してストレージ効率の高い手法の実績はどうか。

主な発見

• SketchyCGM はストレージコスト Θ(d + r(m+n)) を達成しつつ、CGM に類似した収束保証を維持する。
• 再構成された rank-r 解 Ŷ は、最適な低ランク近似誤差に関連する誤差境界を持つ CGM イテレート X_t を近似する；もし rank(X_cgm) ≤ r なら再構成誤差は期待値で消失する。
• 解集合が rank ≤ r の行列しか含まない問題に対して、SketchyCGM の再構成は期待値で最適解集合へ収束する。
• この手法は収束と誤差境界を証明可能に提供し (定理 2–4)、PSD/位相復元拡張にも同様の保証をサポートする。
• 経験的結果は SketchyCGM が位相復元イメージング課題において非凸ヒューリスティックより優れ、より少ないメモリ使用量で競争力のある再構成品質を達成する。
• 大規模なフーリエペッチョグラフィー実験では、SketchyCGM は Burer–Monteiro および Wirtinger Flow アプローチよりもアーティファクトが少ない位相再構成を生成する。
• このアプローチはメモリのスケーラビリティを示し、これまで全保存で不可能だった非常に大規模なサイズの行列を扱う凸最適化を可能にする。