[論文レビュー] Dualize, Split, Randomize: Fast Nonsmooth Optimization Algorithms.

Adil Salim, Laurent Condat+2 more|arXiv (Cornell University)|Apr 3, 2020

Stochastic Gradient Optimization Techniques参考文献 14被引用数 6

ひとこと要約

本稿では、分散低減と新しい確率的 Davis-Yin分割フレームワークを用いて、滑らか（確率的である可能性がある）、プロキシマブルで、線形写像と合成された3つの凸関数の和を最小化するための新規な原双対アルゴリズムを提案する。強い凸性の有無に応じて、非強凸の場合にサブ線形、強凸の場合に線形の収束レートを達成する正確な収束を実現し、従来の手法がカバーできない設定をカバーする。

ABSTRACT

We introduce new primal-dual algorithms to minimize the sum of three convex functions, each having its own oracle. Namely, the first one is differentiable, smooth and possibly stochastic, the second is proximable, and the last one is a composition of a proximable function with a linear map. By leveraging variance reduction, we prove convergence to an exact solution with sublinear or linear rates, depending on strong convexity properties. The proposed theory is simple and unified by the umbrella of stochastic Davis-Yin splitting, which we first design in this work. Our theory covers several settings that are not tackled by any existing algorithm; we illustrate their importance with real-world applications and we show the efficiency of our algorithms by numerical experiments.

研究の動機と目的

• 異なるオракルタイプを持つ3つの凸関数の和を最小化するための既存の最適化アルゴリズムにおけるギャップを埋める。
• 従来の手法が失敗するか非効率な非滑らか・合成的・確率的設定において正確な収束を実現する。
• 新規な確率的 Davis-Yin 分割フレームワークを通じて、既存のアプローチを統合・拡張する。
• 滑らか（確率的である可能性がある）、プロキシマブルで、線形写像と合成された凸関数を同時に処理できるアルゴリズムを設計する。
• 実世界の応用および数値実験を通じて、実用的効率を示す。

提案手法

• 本研究で新たに設計された理論的枠組み「確率的 Davis-Yin 分割」に基づく原双対アルゴリズムを提案する。
• 最適化問題を3つの要素に分解する：滑らか（確率的である可能性がある）関数、プロキシマブル関数、および線形写像と合成されたプロキシマブル関数。
• 収束の加速と正確な解の回復を保証するために、分散低減技術を活用する。
• 合成項を処理するために双対化を用い、問題を取り扱いやすい部分問題に分割する。
• 確率的設定におけるロバスト性とスケーラビリティを向上させるために確率化を統合する。
• 新規な確率的 Davis-Yin 分割フレームワークに裏付けられた統一的理論的分析を通じて収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 異なるオラクルタイプを持つ3つの凸関数の和を効率的に処理できる単一のアルゴリズムフレームワークを設計できるか？
• RQ2 分散低減を原双対分割と組み合わせることで、非滑らかかつ確率的設定において正確な収束を達成できるか？
• RQ3 強い凸性の仮定が異なる条件下で、そのようなアルゴリズムの収束レートはどのように変化するか？
• RQ4 提案手法は、従来の最適化アルゴリズムがカバーしていない問題クラスをカバーできるか？
• RQ5 最先端の手法と比較して、実世界の応用においてアルゴリズムの性能はどのように評価できるか？

主な発見

• 提案手法は、一般の凸性仮定のもとで最適解への正確な収束を達成する。
• 非強凸問題に対してはサブ線形収束レートが確立され、強凸性が成立する場合には線形収束レートが達成される。
• 本手法は、滑らか（確率的である可能性がある）、プロキシマブルで、線形写像と合成されたプロキシマブル関数の和を、単一の統一的フレームワーク内で処理する最初の手法である。
• 分散低減が原双対分割プロセスに効果的に統合され、確率的設定において効率的かつ安定した収束を実現した。
• 数値実験により、既存の手法と比較して本アルゴリズムの効率性と優位性が実世界の応用で確認された。
• 本研究で導入された確率的 Davis-Yin 分割フレームワークは、このようなアルゴリズムの分析と設計を統合的に扱う理論的基盤を提供する。