[論文レビュー] Adaptive Three Operator Splitting

Fabián Pedregosa, Gauthier Gidel|arXiv (Cornell University)|Apr 6, 2018

Sparse and Compressive Sensing Techniques参考文献 27被引用数 7

ひとこと要約

本稿では、ラインサーチを用いてステップサイズを動的に調整する、適応的三作用素分割法を提案する。手動でのチューニングを不要としつつ収束保証を維持する。一般の凸関数に対してはサブ線形収束を達成し、強い凸性および滑らかさが成り立つ場合には線形収束を示す。1反復あたり2回の追加関数評価で、初期推定値以外のハイパーパrameter依存性は一切ない。

ABSTRACT

We propose and analyze an adaptive step-size variant of the Davis-Yin three operator splitting. This method can solve optimization problems composed by a sum of a smooth term for which we have access to its gradient and an arbitrary number of potentially non-smooth terms for which we have access to their proximal operator. The proposed method sets the step-size based on local information of the objective --hence allowing for larger step-sizes--, only requires two extra function evaluations per iteration and does not depend on any step-size hyperparameter besides an initial estimate. We provide an iteration complexity analysis that matches the best known results for the non-adaptive variant: sublinear convergence for general convex functions and linear convergence under strong convexity of the smooth term and smoothness of one of the proximal terms. Finally, an empirical comparison with related methods on 6 different problems illustrates the computational advantage of the proposed method.

研究の動機と目的

• 複合凸最適化のためのデイビス＝イェン三作用素分割法の適応的ステップサイズ版を開発すること。
• 固定またはグローバルに推定されたステップサイズに依存するのを排除すること。実際の応用ではこれが非効率になることがある。
• 非適応的バージョンと同等の収束レートを維持しつつ、実用的性能を向上させること。
• 滑らか項と複数の非滑らか項（それぞれプロキシマル作用素を伴う）を含む問題に対して効率的な最適化を可能にすること。
• 初期ステップサイズ推定値のみを必要とし、局所情報に基づいてステップサイズを適応的に選択する手法を提供すること。

提案手法

• 各反復で十分減少条件を満たすように、バックトラッキングラインサーチ戦略を用いてステップサイズを適応的に設定する。
• 積空間の定式化により、三作用素分割フレームワークを任意の数のプロキシマル項を扱えるように拡張する。
• アルゴリズムは1反復あたり、滑らか項の勾配と非滑らか項のプロキシマル作用素を1回ずつ評価する。
• ステップサイズ選択のためのアーミジョ型十分減少条件を検証するために、1反復あたり2回の追加関数評価を組み込む。
• 適応的ステップサイズは、目的関数の十分減少を保証するバックトラッキングラインサーチによって決定される。
• この手法は鞍点最適化アルゴリズムとして解釈可能であり、より包括的かつタイトな収束レートを得るための新規な収束解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 三作用素分割法に適応的ステップサイズ戦略を導入することで、収束保証を損なわずに実用的性能を向上させることは可能か？
• RQ2 局所情報に基づく適応的ステップサイズ選択は、固定またはグローバルに推定されたステップサイズと比較して、収束速度およびロバスト性においてどのように異なるか？
• RQ3 適応的バージョンの反復複雑度は何か？非適応的バージョンの最良既知のレートと一致するか？
• RQ4 積空間の定式化により、任意の数の非滑らか項を扱えるように拡張可能か？
• RQ5 適応的メカニズムの計算オーバーヘッドは何か？追加の関数評価があるにもかかわらず、依然として効率的か？

主な発見

• 提案手法である適応的三作用素分割法は、一般の凸関数に対してサブ線形収束を達成し、非適応的バージョンの最良既知のレートと一致する。
• 滑らか項が強い凸性を満たし、1つのプロキシマル項が滑らかであれば、線形収束を示す。非適応的ケースと一貫している。
• 1反復あたり2回の追加関数評価で十分であり、適応的ステップサイズ選択にもかかわらず計算的に効率的である。
• 6つの異なる問題に対する実験結果から、すべてのベンチマークで時間的最適性到達までの性能が、関連手法を上回ることが示された。
• 初期推定値以外のステップサイズハイパーパrameterに依存しない。チューニングの負担を顕著に軽減する。
• 収束解析は新規な鞍点解釈に基づく。これにより、元のデイビス＝イェン解析と比較して、より一般かつタイトな収束レートが得られた。