[論文レビュー] Preconditioning of a Generalized Forward-Backward Splitting and Application to Optimization on Graphs

Hugo Raguet, Landrieu Loïc|arXiv (Cornell University)|Apr 28, 2015

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

この論文は、グラフ構造を持つ大規模で非滑らかな凸最適化問題を解くための、前処理付き一般化前進後退分割法を提案する。基礎となる計量を適応させることで収束を加速し、計算コストと記憶コストを低減し、勾配と近位作用素の評価のみを用いて滑らかでない項を含む合成目的関数の効率的最小化を可能にする。

ABSTRACT

We present a preconditioning of a generalized forward-backward splitting algorithm for finding a zero of a sum of maximally monotone operators $\\sum_{i=1}^{n} A_i + B$ with $B$ cocoercive, involving only the computation of $B$ and of the resolvent of each $A_i$ separately. This allows in particular to minimize functionals of the form $\\sum_{i=1}^n g_i + f$ with $f$ smooth, using only the computation of the gradient of $f$ and of the proximity operator of each $g_i$ separately. By adapting the underlying metric, such preconditioning can serve two practical purposes: first, it might accelerate the convergence, or second, it might simplify the computation of the resolvent of $A_i$ for some $i$. In addition, in many cases of interest, our preconditioning strategy allows the economy of storage and computation concerning some auxiliary variables. In particular, we show how this approach can handle large-scale, nonsmooth, convex optimization problems structured on graphs, which arises in many image processing or learning applications, and that it compares favorably to alternatives in the literature.

研究の動機と目的

• 画像処理や機械学習で一般的に見られる、グラフ構造を持つ大規模で非滑らかで凸な最適化問題を解く課題に対処すること。
• 単調作用素包含問題に対する前進後退分割法の収束速度を向上させ、計算オーバーヘッドを低減すること。
• 計量の前処理により、個々の作用素の解像度計算を分離することで、計算を効率化すること。
• 分散処理や大規模設定における補助変数の記憶要件を低減し、実装を簡素化すること。

提案手法

• 本手法は、最大単調作用素の和 $\sum_{i=1}^{n} A_i + B$ のゼロを求める一般化前進後退分割フレームワークを採用し、$B$ は共円形である。
• 問題の条件数を改善するために、基礎となるヒルベルト空間の計量を変更する前処理戦略を導入する。
• 複雑な結合作用素の計算を避けるために、各 $A_i$ の解像度と $B$ の評価のみを計算する。
• 前処理により、各 $A_i$ の解像度を別々に処理でき、並列または分散計算が可能になる。
• 滑らかな関数 $f$ と $g_i$ の和 $\sum_{i=1}^n g_i + f$ の関数形に適用し、$f$ の勾配と $g_i$ の近位作用素の評価のみを用いる。
• 局所的作用素分解と計量の適応を活用することで、グラフ構造問題に適応し、計算負荷を低減する。

実験結果

リサーチクエスチョン

• RQ1 前処理は、単調作用素包含問題に対する一般化前進後退分割法の収束速度を向上させ得るか？
• RQ2 計量の適応により、分解における個々の作用素の解像度計算はどの程度簡素化できるか？
• RQ3 本手法を用いることで、大規模なグラフ構造最適化において記憶コストと計算コストはどの程度低減できるか？
• RQ4 グラフベースの問題において、前処理付きアルゴリズムは既存手法に比べ、収束速度とスケーラビリティの面で優れているか？
• RQ5 本手法は、分散環境やスパース設定において、滑らかでない項を含む合成目的関数を効率的に処理できるか？

主な発見

• 前処理付きアルゴリズムは、標準的な前進後退分割法に比べ、特に条件数が悪い問題においてより速い収束を達成する。
• 個々の作用素の解像度計算を分離することで、記憶量と計算要求を低減する。
• 画像処理や機械学習で生じる大規模なグラフ構造最適化問題の効率的処理が可能になる。
• 標準的な一般化前進後退法と同一の仮定のもとで収束保証を維持するが、実用的性能が向上する。
• 実験結果は、文献に登録された既存手法と比較して、特に構造化された問題におけるスケーラビリティと頑健性の面で優れた性能を示している。