[論文レビュー] iPiano: Inertial Proximal Algorithm for Non-Convex Optimization

Peter Ochs, Yunjin Chen+2 more|arXiv (Cornell University)|Apr 18, 2014

Sparse and Compressive Sensing Techniques参考文献 35被引用数 15

ひとこと要約

この論文は、非凸最適化のための慣性的プロキシマルアルゴリズムiPianoを紹介する。これは、前向き後向き分割法と、Heavy-ball法にインspiredされた慣性力の組み合わせである。関数値のグローバル収束と反復の有界性を確立し、Kurdyka-Łojasiewicz不等式のもとで臨界点への収束を示し、画像ノイズ除去と圧縮タスクにおいて、既存の手法よりも高速な収束を達成している。

ABSTRACT

In this paper we study an algorithm for solving a minimization problem composed of a differentiable (possibly non-convex) and a convex (possibly non-differentiable) function. The algorithm iPiano combines forward-backward splitting with an inertial force. It can be seen as a non-smooth split version of the Heavy-ball method from Polyak. A rigorous analysis of the algorithm for the proposed class of problems yields global convergence of the function values and the arguments. This makes the algorithm robust for usage on non-convex problems. The convergence result is obtained based on the \KL inequality. This is a very weak restriction, which was used to prove convergence for several other gradient methods. First, an abstract convergence theorem for a generic algorithm is proved, and, then iPiano is shown to satisfy the requirements of this theorem. Furthermore, a convergence rate is established for the general problem class. We demonstrate iPiano on computer vision problems: image denoising with learned priors and diffusion based image compression.

研究の動機と目的

• 滑らか（おそらく非凸）かつ凸（おそらく非微分可能）な関数の和として表される目的関数をもつ、非凸的で非滑らかな最適化問題を解く課題に対処する。
• 関数値を単調に減少させるが、収束が遅い標準的な前向き後向き分割法の限界を、慣性項を組み込むことで克服する。
• 標準的な凸解析ツールが失敗する非凸設定でも、収束保証を維持する強固なアルゴリズムを開発する。
• 特に、非凸設定における収束の最小構造的要件であるKurdyka-Łojasiewicz不等式を含む、弱い仮定のもとで理論的収束を確立する。
• 画像ノイズ除去（学習された事前分布を用いた）や拡散ベース画像圧縮といった、実世界のコンピュータビジョン問題におけるアルゴリズムの実用的優位性を示す。

提案手法

• 滑らかな部分に対する勾配降下（前向きステップ）と、凸部分に対するプロキシマル作用素（後向きステップ）を組み合わせた反復的アルゴリズムを提案し、収束速度の向上を図るために慣性項を追加する。
• 更新則を $ x^{n+1} = (I + \alpha \partial g)^{-1}(x^n - \alpha \nabla f(x^n) + \beta(x^n - x^{n-1})) $ と定義する。ここで $ \alpha $ と $ \beta $ はステップサイズパラメータである。
• 物理系における運動量を模倣するため、Heavy-ball法にインspiredされた慣性力 $ \beta(x^n - x^{n-1}) $ を組み込む。
• 一般化された不正確勾配降下法の収束フレームワークを確立し、それをiPianoに特化して、抽象的収束条件への適合を検証する。
• Kurdyka-Łojasiewicz（KL）不等式を活用して、弱い仮定のもとで反復列の全列が臨界点に収束することを証明する。
• 画像圧縮のような大規模問題におけるスパarsityを活かして、効率的な線形ソルバー（例：MATLABのバックスラッシュ）を実装する。

実験結果

リサーチクエスチョン

• RQ1 非凸合成最適化問題に対して、グローバル収束を保証する慣性的プロキシマルアルゴリズムを設計し、理論的証明を行うことは可能か？
• RQ2 関数値が単調に減少しない状況下でも、慣性項の組み込みにより、標準的な前向き後向き分割法よりも高速な収束が達成可能か？
• RQ3 非凸設定における臨界点への収束を保証する弱い構造的仮定（例：KL不等式）は何か？
• RQ4 iPianoは、画像ノイズ除去や圧縮といった実用的コンピュータビジョン応用において、既存のソルバーを上回る性能を示せるか？
• RQ5 iPianoの収束速度は何か？ また、理論的上限と実測性能を比較するとどうなるか？

主な発見

• iPianoは、非凸合成問題の一般クラスにおいて、関数値のグローバル収束と引数列の有界性を達成する。
• 反復列のすべての極限点は、目的関数の臨界点である。さらに、Kurdyka-Łojasiewicz不等式のもとでは、全列が単一の臨界点に収束する。
• 正規化されたプロキシマル残差の二乗に対する収束速度は $ O(1/n) $ であり、実測性能はこの上界を著しく上回る。
• 学習された事前分布を用いた画像ノイズ除去において、iPianoは効果的な事前分布を学習し、再構成品質を向上させた。
• 拡散ベース画像圧縮では、1000回の反復でエネルギーが21.57（SPDは21.63）にまで低下し、SPD法（200×4000回の反復を要する）を上回った。
• グレイ値最適化（GVO）による後処理後、3つのテスト画像のうち2つにおいて、MSEがSPDをわずかに上回り、最先端の性能を達成した。