[論文レビュー] Douglas-Rachford Splitting: Complexity Estimates and Accelerated Variants

Panagiotis Patrinos, Lorenzo Stella+1 more|arXiv (Cornell University)|Jul 24, 2014

Sparse and Compressive Sensing Techniques参考文献 18被引用数 11

ひとこと要約

本稿では、非滑らかなDouglas-Rachford分割（DRS）法を滑らかな勾配降下法に変換する滑らかで滑らかでない関数であるDouglas-Rachfordエンvelope（DRE）を導入する。滑らかな最適化理論を活用することで、著者たちは収束速度を導出し、凸二次問題において$1/k^2$のグローバル収束を達成する加速されたDRSの変種を提案する。これは標準的なDRSの$1/k$の収束速度よりも顕著に向上している。

ABSTRACT

We propose a new approach for analyzing convergence of the Douglas-Rachford splitting method for solving convex composite optimization problems. The approach is based on a continuously differentiable function, the Douglas-Rachford Envelope (DRE), whose stationary points correspond to the solutions of the original (possibly nonsmooth) problem. By proving the equivalence between the Douglas-Rachford splitting method and a scaled gradient method applied to the DRE, results from smooth unconstrained optimization are employed to analyze convergence properties of DRS, to tune the method and to derive an accelerated version of it.

研究の動機と目的

• 凸複合最適化におけるDouglas-Rachford分割（DRS）法の収束速度が十分に理解されていないという問題に取り組む。
• Douglas-Rachfordエンvelope（DRE）を導入することで、DRSと滑らかな無制約最適化の間に接続を確立する。
• 関数$f$の滑らかさの仮定の下で、DRSの複雑さの見積もりと収束速度を導出する。
• 最適な一次元法を用いて、収束速度を向上させた加速されたDRSの変種を開発する。
• DREフレームワークを用いて、$\gamma$ や $\lambda_k$ といったパラメータの実用的な調整を可能にする。

提案手法

• DREを、元の非滑らかな問題$\min f(x) + g(x)$の停留在点に対応するC1級関数として定義する。
• 関数$f$が2回連続的に微分可能で、勾配がリプシッツ連続であるとき、DRSがDREへのスケーリング勾配法と等価であることを証明する。
• 滑らかな最適化の標準的結果を用いて、DREの性質（強凸性、リプシッツ連続勾配など）を基に、DRSの収束速度を分析する。
• 最適な一次元法（例：ネステロフ風の加速）をDREに適用することで、加速されたDRSの変種を導出し、$1/k^2$の収束速度を達成する。
• $\gamma$ と $\lambda_k$ のパラメータをDREを用いて調整し、収束速度と安定性を向上させる。
• ボックス制約付き二次計画問題およびスパース最小二乗問題に対して、数値的妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 新しい代理関数を通じて、DRS法を滑らかな最適化の視点から分析することは可能か？
• RQ2 関数$f$が凸二次関数である場合、DRSの収束速度は何か？ そして、それを改善できるか？
• RQ3 DREを用いて、加速されたDRSの変種を導出し、調整することは可能か？
• RQ4 $\gamma$ と $\lambda_k$ のどのパラメータ選択が実際の収束を最適化するか？
• RQ5 DREフレームワークは、既存の手法よりもタイトな複雑さの見積もりを可能にするか？

主な発見

• DRS法は、Douglas-Rachfordエンvelope（DRE）へのスケーリング勾配降下法と等価であり、滑らかな最適化理論の適用が可能になる。
• 凸二次関数$f$に対して、DREは強凸であり、リプシッツ連続勾配を持つため、収束速度の分析が可能になる。
• これらの条件下で、標準的なDRSは、$\left(1 - \frac{\mu_h}{L_h}\right)^k$ の線形収束率でグローバルに収束する。
• 加速されたDRSの変種は、目的関数のギャップに関して$O(1/k^2)$のグローバル収束率を達成する。これは標準的な$O(1/k)$の収束速度を上回る。
• 数値実験では、加速されたDRSが標準的なDRSを上回り、特に$\gamma$ が最適値$\gamma_*$に近い場合に顕著に優れている。
• DREフレームワークにより、$\gamma$ と $\lambda_k$ のパラメータ調整が実用的に行えるようになり、実験では$\gamma = \gamma_*$が最も速い収束をもたらした。