[論文レビュー] Relaxed Majorization-Minimization for Non-smooth and Non-convex Optimization

Chen Xu, Zhouchen Lin+2 more|arXiv (Cornell University)|Nov 25, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用数 3

ひとこと要約

本稿では、非滑らかかつ非凸な最適化のための緩和された主要化・最小化（MM）フレームワークを提案する。この手法は、目的関数と補助関数の方向微分の差が漸近的に消えることのみを要件としている。この方法により、非滑らかな目的関数を直接近似可能となり、ロバスト行列分解（RMF）において、最先端の手法を上回る性能を発揮し、定常点への収束が保証され、解の品質が高く、収束が速い。

ABSTRACT

We propose a new majorization-minimization (MM) method for non-smooth and non-convex programs, which is general enough to include the existing MM methods. Besides the local majorization condition, we only require that the difference between the directional derivatives of the objective function and its surrogate function vanishes when the number of iterations approaches infinity, which is a very weak condition. So our method can use a surrogate function that directly approximates the non-smooth objective function. In comparison, all the existing MM methods construct the surrogate function by approximating the smooth component of the objective function. We apply our relaxed MM methods to the robust matrix factorization (RMF) problem with different regularizations, where our locally majorant algorithm shows advantages over the state-of-the-art approaches for RMF. This is the first algorithm for RMF ensuring, without extra assumptions, that any limit point of the iterates is a stationary point.

研究の動機と目的

• 既存の主要化・最小化（MM）手法が強い補助関数の条件を要し、滑らかでない部分を正確に近似できないという限界を解消すること。
• 滑らかでない部分と非滑らかでない部分に分解せず、非滑らかで非凸な目的関数を直接近似できる一般化されたMMフレームワークを開発すること。
• 追加の仮定なしに、ロバスト行列分解（RMF）における反復点が定常点に収束することを保証すること。
• 最先端の手法と比較して、さまざまな正則化を用いたRMFにおける解の品質と収束速度を向上させること。

提案手法

• 補助関数に緩和された条件を提案：反復回数が無限に近づくにつれて、目的関数と補助関数の間の方向微分の差が消えること。
• 局所的に主要化する補助関数を導入し、従来の手法が滑らかな部分にのみ近似するのに対し、非滑らかな目的関数全体を直接近似可能にする。
• 緩和されたMMフレームワークを、ℓ1ノルムおよびノルムの正則化を用いたロバスト行列分解（RMF）に適用し、補助関数の反復的最小化を実行する。
• 反復点の任意の極限点が、緩和された条件下で定常点であることを示す収束解析を採用する。
• RMFにおける補助関数の部分問題を効率的に解くために、ブロック座標降下戦略を採用する。
• NMF実験における収束性と解の品質を向上させるために、PCAおよびk-meansを用いた初期化を採用する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない補助関数差の滑らかさを要件としない、非滑らかで非凸な目的関数を直接近似できるMM手法を設計できるか？
• RQ2 方向微分の差に緩和された条件を課すことで、非凸・非滑らかな設定において定常点への収束が保証されるか？
• RQ3 ロバスト行列分解において、提案手法の解の品質と収束速度は、最先端のアルゴリズムと比較してどのように異なるか？
• RQ4 追加の仮定なしに、RMFにおける反復点が定常点に収束することを保証できるか？
• RQ5 モーショントラッキングや顔クラスタリングといった実世界の応用において、緩和されたMM手法はどの程度の性能向上を達成できるか？

主な発見

• 提案された緩和されたMM手法は、追加の仮定なしに、ロバスト行列分解における反復点の任意の極限点が定常点であることを保証する。これは、このような保証が得られる最初の手法である。
• モーショントラッキングでは、RMF-LMMMは相対誤差が9.69と最低となり、視覚的に滑らかで閉じた軌道を生成し、UNuBi や RMF-GMMM を上回った。
• 顔クラスタリングでは、AT&Tデータセットにおいて、RMF-LMMMは正解率（0.7250）、NMI（0.8655）、純度（0.7500）が最高を記録し、ℓ1-NMF や RMF-GMMM を大きく上回った。
• CMUPIEデータセットでは、RMF-LMMMは相対誤差4.67を達成し、すべての手法の中で最低であり、純度0.4456を記録し、ベンチマークで最高となった。
• 平均して20回の反復で収束したのに対し、ℓ1-NMFは5000回、RMF-GMMMは500回を要したため、収束速度が著しく速かった。
• 緩和されたMMフレームワークは、既存のMM手法を一般化し、非滑らかな目的関数全体を直接近似可能にした。これにより、従来の補助関数構築戦略よりも優れた性能を達成した。