[論文レビュー] An accelerated forward-backward algorithm for monotone inclusions.

Dirk A. Lorenz, Thomas Pock|arXiv (Cornell University)|Mar 14, 2014

Sparse and Compressive Sensing Techniques参考文献 34被引用数 9

ひとこと要約

本稿では、1つの共同強収束型作用素を含む単調包含問題を解くための慣性付き前向き・後向き分割法を提案する。Nesterovの加速勾配法にインspiredされ、既存の一次元法と同等の反復ごとの計算コストを維持しながら、より高速な収束を達成する。この手法は、凸・凹な鞍部問題およびヒルバート空間における一般単調包含問題に適用可能である。

ABSTRACT

In this paper, we propose an inertial forward backward splitting algorithm to compute a zero of the sum of two monotone operators, with one of the two operators being co-coercive. The algorithm is inspired by the accelerated gradient method of Nesterov, but can be applied to a much larger class of problems including convex-concave saddle point problems and general monotone inclusions. We prove convergence of the algorithm in a Hilbert space setting and show that several recently proposed first-order methods can be obtained as special cases of the general algorithm. Numerical results show that the proposed algorithm converges faster than existing methods, while keeping the computational cost of each iteration basically unchanged.

研究の動機と目的

• 2つの単調作用素の和のゼロ点を計算するための効率的な一次元アルゴリズムの開発。そのうちの1つは共同強収束型である。
• Nesterovの加速技術を滑らかで凸な最適化を越えた単調包含問題へ効果的に拡張すること。
• 最近提案された複数の一次元法を、単一のフレームワークの特殊ケースとして統一・一般化すること。
• ヒルバート空間設定下での収束を保証するとともに、反復ごとの計算複雑性を低く保つこと。

提案手法

• 収束の加速を図るため、Nesterovのモーメンタム法にインspiredされた慣性項をアルゴリズムに組み込む。
• 単調作用素の和を取り扱うために、緩和パラメータを用いた前向き・後向き分割スキームを適用する。
• 1つの作用素の共通強収束性により、より強い収束保証と高速な反復が可能になる。
• ヒルバート空間上に定式化されているため、凸・凹な鞍部問題や一般単調変分不等式問題への広範な適用性が得られる。
• 収束性の証明には、リャプノフ解析と非拡大作用素の性質を用いる。
• 可変パラメータと慣性付き過緩和を許容することで、既存の手法を一般化するフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 Nesterov型加速は、共通強収束型作用素を含む単調包含問題へ効果的に拡張可能か？
• RQ2 慣性付き前向き・後向き法は、既存の一次元法と比較して収束速度が速いか？
• RQ3 一般ヒルバート空間設定下でのアルゴリズムの収束挙動はいかなるものか？
• RQ4 どの既存の一次元法が、提案されたフレームワークの特殊ケースとして回復可能か？

主な発見

• 提案されたアルゴリズムは、既存の一次元法よりも単調包含問題においてより高速な収束を達成する。
• 標準的な前向き・後向き分割法と比較して、収束速度が向上しているが、反復ごとの計算コストは増加しない。
• 最近提案された複数の一次元法が、一般アルゴリズムの特殊ケースとして示された。
• 本手法は、凸・凹な鞍部問題およびヒルバート空間内での一般単調包含問題に適用可能である。