[論文レビュー] Proximal Splitting Algorithms: A Tour of Recent Advances, with New Twists

Laurent Condat, Daichi Kitahara+2 more|arXiv (Cornell University)|Nov 30, 2019

Optimization and Variational Analysis参考文献 103被引用数 26

ひとこと要約

本稿では、プライマルデュアル積空間における単調包含に着目し、カスタマイズされた計量を用いることで、凸最適化におけるプロキシマルスプリッティングアルゴリズムの統一的枠組みを提示する。新たなアルゴリズム変種を導出し、収束保証を拡張する。特に、二次的滑らか項に対してより大きな緩和パラメータを許容可能にし、実用的収束速度を向上させつつ理論的厳密性を維持する。

ABSTRACT

Convex optimization problems, whose solutions live in very high dimensional spaces, have become ubiquitous. To solve them, proximal splitting algorithms are particularly adequate: they consist of simple operations, by handling the terms in the objective function separately. In this overview, we present a selection of recent proximal splitting algorithms within a unified framework, which consists in applying splitting methods for monotone inclusions in primal-dual product spaces, with well-chosen metric. This allows us to derive new variants of the algorithms and to revisit existing convergence results, by extending the parameter ranges in several cases. In particular, when the smooth term in the objective function is quadratic, e.g. for least-squares problems, convergence is guaranteed with larger values of the relaxation parameter than previously known. Such larger values are usually beneficial to the convergence speed in practice.

研究の動機と目的

• プライマルデュアル積空間における単調包含に基づき、最近のプロキシマルスプリッティングアルゴリズムを一つの理論的枠組みに統一すること。
• 積空間の定式化において適切に選ばれた計量を導入することで、新たなアルゴリズム変種を可能にすること。
• 特に二次的滑らか項を含む問題に関して、既存の収束結果を再考・拡張すること。
• プロキシマルアルゴリズムにおける緩和パラメータの許容範囲を拡大し、実用的収束速度を向上させること。
• 高次元凸最適化におけるプロキシマルスプリッティング法の分析と改善のための体系的アプローチを提供すること。

提案手法

• 凸最適化問題をプライマルデュアル積空間における単調包含問題として定式化する。
• アルゴリズム的更新を最適化し、収束行動を改善するために、積空間にカスタマイズされた計量を導入する。
• 前進後退法やDouglas-Rachford法などのスプリッティング法を、単調包含定式化に適用する。
• 目的関数を個別の項に分解し、プロキシマル作用素を介して処理することで、モジュラーで単純な反復を可能にする。
• 統一枠組み内での計量および緩和パラメータの調整により、新たなアルゴリズム変種を導出する。
• 変分解析および単調作用素理論を用いて、特に二次的滑らか項に対して、より広いパrameter範囲での収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、プライマルデュアル積空間における単調包含を用いて、プロキシマルスプリッティングアルゴリズムを一つの枠組みに統一できるか？
• RQ2 積空間における計量の選択が、アルゴリズム的性能および収束性に果たす役割は何か？
• RQ3 収束保証を、特に二次的項を含む最小二乗問題において、より大きな緩和パラメータにまで拡張できるか？
• RQ4 同じパrameter範囲において、新しいアルゴリズム変種は既存手法と比較して収束速度がどのように異なるか？
• RQ5 滑らか項が二次的であり、緩和パラメータが増加した場合に収束を保証する理論的条件は何か？

主な発見

• 提示された枠組みにより、プライマルデュアル積空間における戦略的計量選択を通じて、新たなプロキシマルスプリッティングアルゴリズム変種の導出が可能である。
• 特に滑らか項が二次的である場合に、これまで知られていたよりも大きな緩和パラメータ範囲で収束が保証される。
• 拡張されたパラメータ範囲は、特に最小二乗問題において実用的収束速度の向上をもたらす。
• 統一的アプローチにより、複数のアルゴリズムにわたる既存の収束結果の再検討および強化が可能になる。
• 単調作用素理論を用いた枠組みにより、プロキシマルスプリッティング法の分析と改善の原理的手段が提供される。
• 実装の簡素さを保ちながら、理論的および実用的適用範囲を著しく拡大する。