[論文レビュー] Proximal Splitting Algorithms for Convex Optimization: A Tour of Recent Advances, with New Twists

Laurent Condat, Daichi Kitahara+2 more|arXiv (Cornell University)|Nov 30, 2019

Optimization and Variational Analysis被引用数 7

ひとこと要約

この論文は、適切な計量を用いた原双対単調包含問題として定式化することにより、凸最適化における近接分割アルゴリズムを統一的な枠組みで提示する。新しいアルゴリズムの変種を導出し、収束保証を拡張し、特に二次的項を含む場合に、収束の安定性を損なわずに収束速度を向上させるために緩和パラメータを増加可能であることを示している。

ABSTRACT

Convex nonsmooth optimization problems, whose solutions live in very high dimensional spaces, have become ubiquitous. To solve them, the class of first-order algorithms known as proximal splitting algorithms is particularly adequate: they consist of simple operations, handling the terms in the objective function separately. In this overview, we demystify a selection of recent proximal splitting algorithms: we present them within a unified framework, which consists in applying splitting methods for monotone inclusions in primal-dual product spaces, with well-chosen metrics. Along the way, we easily derive new variants of the algorithms and revisit existing convergence results, extending the parameter ranges in several cases. In particular, we emphasize that when the smooth term in the objective function is quadratic, e.g., for least-squares problems, convergence is guaranteed with larger values of the relaxation parameter than previously known. Such larger values are usually beneficial for the convergence speed in practice.

研究の動機と目的

• 原双対積空間における単調包含問題に基づき、第一順位の近接分割アルゴリズムの広範なクラスを統一的な理論的枠組みで統合すること。
• 特に二次的滑らか項を含む問題に対して、フレームワークから自然に新しいアルゴリズム変種を導出すること。
• 緩和パラメータの許容範囲を拡大することで収束結果を拡張し、特に二次的目的関数が存在する場合に有効であること。
• 大規模問題向けに、主要アルゴリズムの並列版を体系的に導出すること。
• Chambolle–Pock、PD3O、Davis–Yin などの見た目は異なるが類似したアルゴリズムの間の関係を、共通の理論的レンズで明確にすること。

提案手法

• 原双対最適化問題を、原変数と双対変数の積空間における単調包含問題として定式化する。
• 包含問題の構造を扱えるように、適切に選ばれた計量を用いた原双対前進・後退分割法を適用する。
• 収束を加速するために更新ステップに緩和パラメータを導入し、緩和された条件下でも収束を保証する。
• 近接作用素と双対前進ステップを別々に用いることで、非滑らか項と滑らか項を分離処理し、モジュラーなアルゴリズム設計を可能にする。
• 目的関数内の複数の項にわたる更新を分離することで、アルゴリズムの並列版を導出する。
• 反復構造を単純化し、アルゴリズムステップの解釈を明確にするために、便宜変数（例：$\tilde{s}^{(i)}$, $a^{(i)}$）を再定式化に用いる。

実験結果

リサーチクエスチョン

• RQ1 多数の近接分割アルゴリズムを、単一の理論的枠組みで統一することは可能か？
• RQ2 収束を保証する緩和パラメータの条件は何か？特に二次的滑らか項が存在する場合に、その許容範囲を拡大できるか？
• RQ3 提案された枠組みから、体系的に新しいアルゴリズム変種を導出できるか？
• RQ4 Chambolle–Pock、PD3O、Davis–Yin といった代表的なアルゴリズムは、この枠組み内でどのように関係しているか？
• RQ5 大規模問題向けに、並列化および過剰緩和（over-relaxed）版のアルゴリズムを、収束保証とともに導出できるか？

主な発見

• 提案された枠組みは、Chambolle–Pock、PD3O、Davis–Yin といった代表的な近接分割アルゴリズムを、単一の単調包含定式化で統一的に扱える。
• 収束は緩和パラメータ $\rho^{(i)} \in [0, \delta]$ に対して保証され、$\delta = 2 - \tau\beta/2$ として、従来の範囲を拡張している。
• 二次的滑らか項（例：最小二乗）が存在する場合、古典的な $\rho < 2$ の制限を超えて緩和パラメータを増加可能であり、実用的な収束速度が向上する。
• フレームワークは自然に、並列化および過剰緩和版を含む新しいアルゴリズム変種を導出し、収束保証を伴う。
• PD3O と Loris–Verhoeven、Chambolle–Pock アルゴリズムとの関係が、特別な場合として正式に確立された。
• $\tilde{s}^{(i)}$ や $a^{(i)}$ のような便宜変数の使用により、反復構造が単純化され、アルゴリズムステップの解釈が明確化された。