[論文レビュー] An Inertial Block Majorization Minimization Framework for Nonsmooth Nonconvex Optimization

Le Thi Khanh Hien, Duy Nhat Phan+1 more|arXiv (Cornell University)|Oct 22, 2020

Sparse and Compressive Sensing Techniques被引用数 11

ひとこと要約

本稿では、非滑らかで非凸な最適化問題に対する、インertial（慣性）ブロックメジャライゼーション・ミニマライゼーションフレームワークTITANを提案する。このフレームワークは、収束を加速するために補外演算子を介して慣性力を統合する。部分的収束およびグローバル収束の保証を確立し、スパース非負行列分解および行列補完問題への有効性を示している。

ABSTRACT

In this paper, we introduce TITAN, a novel inerTIal block majorizaTion minimizAtioN framework for non-smooth non-convex optimization problems. To the best of our knowledge, TITAN is the first framework of block-coordinate update method that relies on the majorization-minimization framework while embedding inertial force to each step of the block updates. The inertial force is obtained via an extrapolation operator that subsumes heavy-ball and Nesterov-type accelerations for block proximal gradient methods as special cases. By choosing various surrogate functions, such as proximal, Lipschitz gradient, Bregman, quadratic, and composite surrogate functions, and by varying the extrapolation operator, TITAN produces a rich set of inertial block-coordinate update methods. We study sub-sequential convergence as well as global convergence for the generated sequence of TITAN. We illustrate the effectiveness of TITAN on two important machine learning problems, namely sparse non-negative matrix factorization and matrix completion.

研究の動機と目的

• 非滑らかで非凸な問題に対するブロック座標メジャライゼーション・ミニマライゼーション手法におけるインエラシャル加速の欠如に対処すること。
• 補外演算子を用いて慣性力をブロック更新に統合する包括的フレームワークの構築。
• 問題構造に関する一般仮定の下で、反復点が臨界点に収束することを保証すること。
• さまざまなサロゲート関数および補外スキームをサポートする柔軟なアルゴリズムテンプレートの提供。
• スパースNMFや行列補完などの主要な機械学習問題における実用的効果の実証。

提案手法

• 収束を加速するために、逐次的ブロック更新に補外推定値を用いるインエラシャルブロックメジャライゼーション・ミニマライゼーションアルゴリズムTITANを提案する。
• ヘビーボール型およびネステロフ型加速を一般化する一般化された補外演算子を用いる。
• 各ブロック更新における非凸目的関数をメジャライズするためのサロゲート関数（プロキシマル、リプシッツ勾配、ブレグマン、二次関数、複合型）を構築する。
• 各反復で目的関数の十分な減少を保証するためのラインサーチ戦略を導入する。
• 補外およびサロゲート関数の性質を活用して、リャプノフ関数アプローチを用いて収束を証明する。
• 係数が収縮条件を満たす重み付き連続反復の差分を介して、慣性項を統合する。

実験結果

リサーチクエスチョン

• RQ1 非滑らかで非凸な問題に対するブロック座標メジャライゼーション・ミニマライゼーション手法に、インエラシャル加速を効果的に統合できるか？
• RQ2 一般な問題仮定の下で、このようなインエラシャルフレームワークに対してどのような収束保証を確立できるか？
• RQ3 サロゲート関数および補外演算子の選択が、アルゴリズムの収束性および性能にどのように影響するか？
• RQ4 このフレームワークは、非凸的かつ非滑らかな成分を含む実世界の機械学習問題に適用可能か？
• RQ5 慣性項の導入により、標準的なブロック座標法と比較して収束が著しく速くなるか？

主な発見

• TITANは、弱い仮定の下で、非凸問題の臨界点への部分的収束を達成する。
• 目的関数および補外パラメータに関する追加条件のもとで、全列のグローバル収束が確立される。
• 本フレームワークは、複数のサロゲート関数（プロキシマル、ブレグマン、リプシッツ勾配など）をサポートし、既知の手法の特殊ケースとして一般化される。
• 数値実験の結果、TITANはスパース非負行列分解および行列補完タスクにおいて、標準的なブロック座標法よりも収束速度が優れていることが示された。
• 慣性機構は、モーメンタムに類似した挙動により、特に初期反復で収束を顕著に加速する。
• 収束解析は非凸性および非滑らかさに対して頑健であり、目的関数に凸および非凸の正則化項を含む場合をカバーする。