[論文レビュー] Accelerated Douglas-Rachford methods for the solution of convex-concave saddle-point problems

Kristian Bredies, Hongpeng Sun|arXiv (Cornell University)|Apr 21, 2016

Numerical methods in inverse problems参考文献 2被引用数 6

ひとこと要約

本稿では、凸-凹な鞍点問題に対する高速化された Douglas–Rachford 法を提案し、目的関数もしくは双対関数のいずれかが強い凸性を満たす場合に $\frac{1}{k^2}$ の確率的収束率を達成する。両者が強い凸性を満たす場合には $\frac{1}{\theta^k}$（線形収束）を達成する。これらの手法は、正確な線形方程式の解法に代えて不正確な線形解法を用いた前処理を組み込みつつも収束速度を維持しており、大規模な画像ノイズ除去問題において最先端のアルゴリズムと同等の性能を示している。

ABSTRACT

We study acceleration and preconditioning strategies for a class of Douglas-Rachford methods aiming at the solution of convex-concave saddle-point problems associated with Fenchel-Rockafellar duality. While the basic iteration converges weakly in Hilbert space with $\mathcal{O}(1/k)$ ergodic convergence of restricted primal-dual gaps, acceleration can be achieved under strong-convexity assumptions. Namely, if either the primal or dual functional in the saddle-point formulation is strongly convex, then the method can be modified to yield $\mathcal{O}(1/k^2)$ ergodic convergence. In case of both functionals being strongly convex, similar modifications lead to an asymptotic convergence of $\mathcal{O}({\vartheta}^k)$ for some $0 < {\vartheta} < 1$. All methods allow in particular for preconditioning, i.e., the inexact solution of the implicit linear step in terms of linear splitting methods with all convergence rates being maintained. The efficiency of the proposed methods is verified and compared numerically, especially showing competitiveness with respect to state-of-the-art accelerated algorithms.

研究の動機と目的

• 凸-凹な鞍点問題に対する Douglas–Rachford スキームの高速化版を開発し、収束速度を向上させること。
• 目的関数もしくは双対関数のいずれかが強い凸性を満たす場合の収束保証を確立すること。
• 収束速度が低下しないように、加速スキームに線形前処理を統合すること。
• 提案手法の効率性と最先端の一次元アルゴリズムに対する競争力を数値的に検証すること。
• Douglas–Rachford 法の適用範囲を、$L^2$-Huber-TV 画像ノイズ除去を含む大規模な変分画像処理問題へ拡張すること。

提案手法

• 本手法は、鞍点問題の最適性条件に Douglas–Rachford スプリットを適用し、線形作用素と部分勾配作用素を暗黙的ステップに分解する。
• 各反復で関数 $\fancyscript{F}$ および $\fancyscript{G}$ の近接写像を用い、作用素 $\fancyscript{K}$ を含む線形方程式の暗黙的解法を実行する。
• 関数 $\fancyscript{F}$ もしくは $\fancyscript{G}$ の強い凸性を活用した修正反復により加速を達成し、プライマル-デュアルギャップの $\tfrac{1}{k^2}$ の確率的収束が得られる。
• 関数 $\fancyscript{F}$ および $\fancyscript{G}$ の両方が強い凸性を満たす場合には、さらなる加速版によりプライマル-デュアルギャップの線形収束 $\tfrac{1}{\theta^k}$ が達成される。
• 前処理は、正確な線形方程式の解法を、例えば対称赤黒 Gauss–Seidel 法の1〜数ステップに置き換えることで組み込まれ、収束速度が維持される。
• 反復の確率的系列を用いて制限付きプライマル-デュアルギャップを評価し、平均化された反復に対しても収束速度の上限が保証される。

実験結果

リサーチクエスチョン

• RQ1 古典的 Douglas–Rachford 法は、強い凸性のもとで $\tfrac{1}{k^2}$ の収束を達成するように高速化可能か？
• RQ2 鞍点定式化において、プライマルおよびデュアル関数の両方が強い凸性を満たす場合、どの程度の収束速度が達成可能か？
• RQ3 加速された Douglas–Rachford 法の暗黙的線形ステップに前処理を適用しても、収束速度が劣化しないか？
• RQ4 提案された高速化および前処理付き手法は、大規模な画像ノイズ除去タスクにおいて、既存の一次元アルゴリズムと比較してどのように性能を発揮するか？
• RQ5 実用的応用において、前処理は収束因子および計算効率にどのような影響を与えるか？

主な発見

• 関数 $\fancyscript{F}$ もしくは $\fancyscript{G}$ が強い凸性を満たす場合、高速化された Douglas–Rachford 法はプライマル-デュアルギャップに対して $\tfrac{1}{k^2}$ の確率的収束速度を達成する。
• 関数 $\fancyscript{F}$ および $\fancyscript{G}$ が両方とも強い凸性を満たす場合には、確率的プライマル-デュアルギャップに対して線形収束 $\tfrac{1}{\theta^k}$（$0 < \theta < 1$）が達成される。
• 線形方程式の解法が不正確であっても（例えば対称赤黒 Gauss–Seidel 反復を用いて）、高速化された手法は収束速度を維持する。
• $1024 \times 1024$ 画像ノイズ除去の数値実験では、前処理付き高速化 Douglas–Rachford（paDR sc）法が92反復で0.72秒のCPU時間を要し、ALG3 よりも高速でありながら高い精度を維持している。
• プライマル-デュアルギャップの観察された幾何的減少係数は、paDR sc および aDR sc が ALG3 よりも低く、収束が速いことを示しており、反復回数の観点から paDR sc は ALG3 に対して約2.5倍のスピードアップを達成している。
• 特にメガピクセルスケールの非滑らかな変分画像ノイズ除去問題において、収束速度および精度の観点で最先端のアルゴリズムと同等の性能を示している。