[論文レビュー] MADMM: a generic algorithm for non-smooth optimization on manifolds

Artiom Kovnatsky, Klaus Glashoff+1 more|arXiv (Cornell University)|May 28, 2015

Sparse and Compressive Sensing Techniques参考文献 45被引用数 8

ひとこと要約

本稿では、非滑らか最適化のための汎用的アルゴリズムMADMMを提案する。これは古典的なADMMフレームワークをリーマン多様体上に拡張したもので、問題を滑らかで多様体制約付きの部分問題と非滑らかで制約なしの部分問題に分割することで、スタイリル・スティーフェル、グラスマン多様体、固定ランク行列といった多様な多様体上で、パラメータフリーで効率的な最適化を可能にする。ロバストなユリディアン埋め込みや低ランク行列回復といったタスクにおいて、従来の方法（勾配降下法やSDP）と比較して収束が速く、スケーラビリティに優れていることが示された。

ABSTRACT

Numerous problems in machine learning are formulated as optimization with manifold constraints. In this paper, we propose the Manifold alternating directions method of multipliers (MADMM), an extension of the classical ADMM scheme for manifold-constrained non-smooth optimization problems and show its application to several challenging problems in dimensionality reduction, data analysis, and manifold learning.

研究の動機と目的

• 機械学習およびデータ解析分野における、リーマン多様体上での非滑らか最適化のための汎用的で効率的なアルゴリズムの不足を解消すること。
• 古典的なADMMフレームワークを多様体制約付きの非滑らか問題に拡張し、多様な多様体に広く適用可能にする。
• ステップサイズに敏感であること、スケーラビリティが低いこと、多様体固有の設計を必要とすることといった、従来手法の限界を克服すること。
• 最小限のチューニングで即座に利用可能で、高速な収束を示すシンプルなソリューションを提供すること。
• ロバストなユリディアン埋め込みやノイズ下での低ランク行列回復といった、困難な問題に対して堅牢なソリューションを可能にすること。

提案手法

• MADMMは、非滑らか最適化問題を2つの部分問題に分割する：滑らかで多様体制約付きの最小化問題と、非滑らかで制約なしの最小化問題。
• X-部分問題は、多様体上の共役勾配法を用いて解き、多様体上のリーマン勾配とリトラクション演算子を活用する。
• Z-部分問題は、目的関数の非滑らか構造を活かして、ス hrinkage（ソフトスレッディング）により解く。
• アルゴリズムは、多様体上のXの更新と、アンビエント空間内のZの更新を交互に繰り返し、増加ラグランジュアンに対する双対勾配法を用いる。
• 標準的なリーマン的ツールに依存する：接空間への射影、リトラクション、および内在的勾配の計算。
• この手法は汎用的であり、問題固有の導出を必要とせず、さまざまな多様体で即座に利用可能である。

実験結果

リサーチクエスチョン

• RQ1 非滑らか目的関数を扱うための汎用的ADMMベースのフレームワークを、リーマン多様体上に効果的に拡張できるか？
• RQ2 MADMMは、非滑らか多様体最適化における従来の勾配降下法やSDPベースの手法と比較して、収束速度とロバスト性に優れているか？
• RQ3 実際の応用において、MADMMは初期値やハイパーパrameterのチューニングに対してどれほど感度が低いか？
• RQ4 SDPが非効率になる大規模問題において、MADMMは効率的にスケーリングできるか？
• RQ5 MADMMは、ロバストなユリディアン埋め込みや低ランク行列回復といった実世界の応用で、従来手法を上回る性能を示せるか？

主な発見

• MADMMは、ロバストなユリディアン埋め込み問題において、勾配降下法よりも収束が速く、初期ステップサイズに依存しない収束を示した。
• 問題サイズの増大に対しても効率的にスケーリングされ、SDPはn=100を超えると計算コストが高すぎて失敗したが、MADMMはそれを凌駕した。
• 米国都市の埋め込み問題（n=500）では、MADMMは約50イテレーションで収束したが、勾配降下法は約500イテレーションを要した。これは収束速度の優位性を示している。
• MADMMは初期値に対してロバストであり、パラメータチューニングを一切必要とせず、すべての実験で即座に動作した。
• スパースノイズの存在下でも、MADMMはロバストな埋め込みを成功裏に回復したが、古典的なMDSは外れ値の影響を大きく受け、著しく劣化した。
• MADMMは、スタイリル・スティーフェル多様体、グラスマン多様体、固定ランク行列といった複数の多様体で優れた性能を示し、その汎用的適用性を確認した。