[論文レビュー] On Approximation Guarantees for Greedy Low Rank Optimization

Rajiv Khanna, Ethan R. Elenberg+2 more|arXiv (Cornell University)|Mar 8, 2017

Sparse and Compressive Sensing Techniques参考文献 28被引用数 5

ひとこと要約

本稿は、制限付き強い凸性および滑らかさの下で、グリーディー低ランク行列最適化の指数的収束レートを確立し、サブモodularity最適化への新規な接続を示している。グリーディー1ランク更新が、最適なランク-$r$解に対する$(1 - \text{exp}(-c k / r))$の近似保証を達成することを証明している。

ABSTRACT

We provide new approximation guarantees for greedy low rank matrix estimation under standard assumptions of restricted strong convexity and smoothness. Our novel analysis also uncovers previously unknown connections between the low rank estimation and combinatorial optimization, so much so that our bounds are reminiscent of corresponding approximation bounds in submodular maximization. Additionally, we also provide statistical recovery guarantees. Finally, we present empirical comparison of greedy estimation with established baselines on two important real-world problems.

研究の動機と目的

• 標準的な凸性および滑らかさの仮定の下で、グリーディー低ランク行列推定の理論的近似保証を提供すること。
• 低ランク行列最適化と組合せ最適化、特にサブモジュラー最大化との間の新たな関係を解明すること。
• グリーディー・アルゴリズムの低ランク推定における統計的回復保証を確立すること。
• クラスタリングや語彙埋め込みといった実世界の問題において、グリーディー最適化を既存のベースラインと比較して実験的に評価すること。

提案手法

• 単位作用素ノルムを持つランク1行列の集合上のアトムノルム最適化問題として低ランク行列推定を定式化する。
• 目的関数を最大化するために、アトム（ランク1行列）を逐次的に選択するグリーディー・アルゴリズムを分析する。
• サブモジュラー関数最大化にインspiredされた新規な解析を用いて近似境界を導出し、指数的誤差減衰を達成する。
• 制限付き条件数に依存する定数$c$を用いて、$k$反復後に$(1 - \text{exp}(-c k / r))$の近似比を達成することが示される。
• 行列分解における正規化共起度数の二項モデルを用いて、実世界のタスクにグリーディー法を適用する。
• 標準ベンチマークを用いて、語の類似性および類推タスクにおけるSVD、PPMI、SGNSと比較して、グリーディー手法を実装および比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的な制限付き強い凸性および滑らかさの仮定の下で、グリーディー低ランク行列最適化は指数的収束レートを達成できるか？
• RQ2 グリーディー・アルゴリズムの最適なランク-$r$解との差のギャップに関して、近似保証は何か？
• RQ3 グリーディー低ランク最適化の理論的境界は、サブモジュラー関数最大化のそれらとどのように関係しているか？
• RQ4 クラスタリングや語彙埋め込みといった実世界の応用において、グリーディー手法は競争力のある性能を達成できるか？
• RQ5 SVD や SGNS といった既存のベースラインと比較して、グリーディー手法の統計的および実験的性能はどのように異なるか？

主な発見

• グリーディー・アルゴリズムは、制限付き条件数に関連する定数$c$を用いて、$(1 - \text{exp}(-c k / r))( ext{OPT} - \text{OPT}_0)$の近似保証を達成する。
• 反復回数$k$に伴い誤差が指数的に減少し、先行研究の$O(1/k)$のような非線形的境界よりも顕著に優れている。
• クラスタリングタスクにおける実験結果から、$k=3$のグリーディー因子分解がクラスタ行列の再構成において競争力のある性能を示している。
• 語彙埋め込みタスクでは、グリーディー二項PCAがW353で0.202、MENで0.198の相関を達成し、PPMIを上回り、SVDおよびSGNSに近い性能を示している。
• MSRおよびGoogleの類推データセットでは、それぞれ0.176および0.102の精度を達成しており、スケーラビリティが低いにもかかわらず、競争力のある性能を示している。
• 理論的解析により、グリーディー低ランク最適化とサブモジュラー最大化の間には深い構造的類似性が存在することが明らかになり、共通のアルゴリズム的原則を示唆している。