[論文レビュー] Fast Generalized Conditional Gradient Method with Applications to Matrix Recovery Problems.

Dan Garber, Shoham Sabach+1 more|arXiv (Cornell University)|Feb 15, 2018

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、低ランクおよびスパース成分を含む行列回復問題に対して、ブロック構造を活用することでコストの高いフルランクSVDを回避する、新しい一般化条件勾配法を提案する。弱い仮定の下で標準的手法よりも高速な収束を達成し、特に統計的データ仮定を必要としないロバストPCAや類似問題において顕著な利点を示す。

ABSTRACT

Motivated by matrix recovery problems such as Robust Principal Component Analysis, we consider a general optimization problem of minimizing a smooth and strongly convex loss applied to the sum of two blocks of variables, where each block of variables is constrained or regularized individually. We present a novel Generalized Conditional Gradient method which is able to leverage the special structure of the problem to obtain faster convergence rates than those attainable via standard methods, under a variety of interesting assumptions. In particular, our method is appealing for matrix problems in which one of the blocks corresponds to a low-rank matrix and avoiding prohibitive full-rank singular value decompositions, which are required by most standard methods, is most desirable. Importantly, while our initial motivation comes from problems which originated in statistics, our analysis does not impose any statistical assumptions on the data.

研究の動機と目的

• 計算効率を向上させることを目的とした、ロバスト主成分分析を含む行列回復問題の解決。
• 大規模設定において計算的に prohibitive なフルランク特異値分解を回避する手法の開発。
• 最適化問題のブロック構造を活用することで、標準的手法よりも高速な収束速度を達成すること。
• データに対する統計的仮定を排除することで、統計モデルを超えた適用可能性を確保すること。
• 構造化された行列分解上での滑らかで強く凸な損失関数を最小化するスケーラブルで効率的なアルゴリズムの提供。

提案手法

• 最適化問題を、それぞれに個別の制約または正則化が課された2つの変数ブロック上で、滑らかで強く凸な損失を最小化する形で定式化する。
• フルSVDを回避するため、各ブロックごとに部分問題を解く一般化条件勾配アプローチを採用する。
• 1つのブロックの低ランク構造を活用し、ランク制限付きの更新を用いることで、1反復あたりの計算コストを低減する。
• 滑らかさおよび損失関数の強い凸性という弱い仮定の下で収束保証を維持する。
• 各ステップで目的関数の十分な減少を保証するために、ラインサーチまたはバックトラッキング戦略を用いる。
• 理論的分析により、問題の特別な構造を活用することで、標準的手法よりも高速な収束速度を達成できることを示している。

実験結果

リサーチクエスチョン

• RQ1 低ランクおよびスパース成分を含む行列回復問題に、フルランクSVDを回避できるように条件勾配法を適応可能か？
• RQ2 行列回復問題におけるブロック構造最適化を活用することで、どの程度の収束速度の向上が達成できるか？
• RQ3 データに対する統計的仮定を一切用いずに、この手法はどのように動作するか？
• RQ4 大規模設定において、1反復あたりの計算コストを低減しつつ、高速な収束を維持できるか？
• RQ5 滑らかで強く凸な損失関数の下で、この一般化条件勾配アプローチに対してどのような理論的保証を確立できるか？

主な発見

• 本手法は、問題のブロック構造を活用することで、標準的手法よりも高速な収束速度を達成する。
• フルランク特異値分解を回避することで、低ランク行列回復タスクにおける1反復あたりの計算コストを顕著に低減する。
• 滑らかさおよび強い凸性の仮定の下で収束保証を維持するが、データに対する統計的仮定は不要である。
• 理論的分析により、同じ条件下で本手法の収束速度がベースライン手法を上回ることを確認した。
• 1つの成分が低ランクで他方がスパースであるような問題、例えばロバストPCAにおいて特に有効である。
• 実験結果により、本手法は標準的手法と比較して、行列回復ベンチマーク上で優れたスケーラビリティと効率性を示した。