[論文レビュー] Inertial Douglas-Rachford splitting for monotone inclusion problems

Radu Ioan Boţ, Ernö Robert Csetnek+1 more|arXiv (Cornell University)|Mar 13, 2014

Optimization and Variational Analysis参考文献 32被引用数 11

ひとこと要約

本稿では、ヒルバート空間における極大単調作用素を含む単調包含問題を解くために、Krasnosel’skiï’- Mannアルゴリズムの慣性版を活用して収束を加速する慣性付きDouglas-Rachford分割法を提案する。本手法は作用素の解像度を別々にアクセス可能であり、主双対最適化問題に応用可能であり、クラスタリングおよび位置理論における数値実験により、競争力のある性能を示している。

ABSTRACT

We propose an inertial Douglas-Rachford splitting algorithm for finding the set of zeros of the sum of two maximally monotone operators in Hilbert spaces and investigate its convergence properties. To this end we formulate first the inertial version of the Krasnosel'ski\uı--Mann algorithm for approximating the set of fixed points of a nonexpansive operator, for which we also provide an exhaustive convergence analysis. By using a product space approach we employ these results to the solving of monotone inclusion problems involving linearly composed and parallel-sum type operators and provide in this way iterative schemes where each of the maximally monotone mappings is accessed separately via its resolvent. We consider also the special instance of solving a primal-dual pair of nonsmooth convex optimization problems and illustrate the theoretical results via some numerical experiments in clustering and location theory.

研究の動機と目的

• ヒルバート空間における単調包含問題に対するDouglas-Rachford分割法の慣性版を開発すること。
• 非拡大作用素の不動点近似に対する慣性付きKrasnosel’skiï’- Mannアルゴリズムの収束を解析すること。
• 慣性フレームワークを、線形合成および平行和型作用素を含む問題に向けた主双対分割スキームに拡張すること。
• 提案されたアルゴリズムを、非滑らか凸最適化問題の主双対ペアに適用すること。
• クラスタリングおよび位置理論における理論的結果の妥当性を数値実験で検証すること。

提案手法

• 非拡大作用素の不動点への収束を加速するために、直近2回の反復を用いる慣性付きKrasnosel’skiï’- Mannアルゴリズムを提案する。
• 極大単調作用素の反射解像度の合成に慣性付きKrasnosel’skiï’- Mannスキームを適用し、慣性付きDouglas-Rachfordアルゴリズムを導出する。
• 線形合成および平行和型作用素を含む単調包含問題を扱うために、積空間アプローチを用いる。
• 個々の作用素の解像度を介して主変数と双対変数の評価を分離する、慣性付き主双対分割アルゴリズムを導出する。
• 双対定式化における共役関数の近似点を計算するために、Moreauの分解公式を用いる。
• 一般化ヘロン問題および単位球およびボックス制約を伴う位置理論問題に対して、アルゴリズムを検証する。

実験結果

リサーチクエスチョン

• RQ1 ヒルバート空間における単調包含問題に対して、Douglas-Rachford分割法の慣性版を構築し、収束性を証明できるか？
• RQ2 慣性付きKrasnosel’skiï’- Mannアルゴリズムは、古典的バージョンに比べて収束速度をどのように向上させるか？
• RQ3 慣性付きDouglas-Rachfordスキームを、線形合成および平行和型作用素を含む単調包含問題に拡張可能か？
• RQ4 提案された慣性付き主双対アルゴリズムは、非滑らか凸最適化問題において、古典的手法および勾配降下法と比較してどのような性能を示すか？
• RQ5 クラスタリングおよび位置理論などの実応用において、慣性アプローチはより速い収束を達成するか？

主な発見

• 適切なパrameter条件の下で、慣性付きDouglas-Rachfordアルゴリズムは弱収束および強収束を達成し、古典的収束結果を拡張する。
• n=3, m=5 の一般化ヘロン問題において、アルゴリズム15はε=10^{-5}で0.01秒、16反復で収束し、高次元において勾配降下法を上回った。
• n=2, m=50 の場合、勾配降下法はε=10^{-10}に到達するまでに16.78秒を要したが、アルゴリズム15および非慣性付きDouglas-Rachford法は1秒未満で完了した。
• 慣性付き主双対アルゴリズムは、さまざまな問題例において安定した性能を示し、次元および集合数の増加に対しても計算時間が低く保たれた。
• n=3, m=50 の場合、アルゴリズム15はε=10^{-5}に0.01秒、19反復で到達し、高い効率性を示した。
• 慣性および分解構造のおかげで、強い凸性の要件を回避することで、古典的手法が失敗する問題に対しても、本手法は正常に解を求めることが可能であった。