[論文レビュー] Gradient Flows and Accelerated Proximal Splitting Methods.

Guilherme França, Daniel P. Robinson+1 more|arXiv (Cornell University)|Aug 2, 2019

Sparse and Compressive Sensing Techniques参考文献 53被引用数 9

ひとこと要約

本稿では、前向き後向き、ダグラス＝ラッチャフォード、ツェン、デイヴィス＝イェン、およびADMMの各近接勾配法を、単一の勾配流れ微分方程式の異なる時間離散化として統一する。同様のスキームを加速された2階勾配流れに適用することで、加速ADMMやデイヴィス＝イェン分裂法を含む、これらのアルゴリズムの新たな加速版が導出され、力学系理論を用いて、第一順序最適化における改善された収束速度を達成する統一的枠組みが明らかにされる。

ABSTRACT

Proximal algorithms are well-suited for nonsmooth and constrained large-scale optimization problems and therefore suitable for applications in many areas of science. There are essentially four proximal algorithms based on fixed-point iterations currently known: forward-backward splitting, forward-backward-forward or Tseng splitting, Douglas-Rachford, and the Davis-Yin three operator splitting. In addition, the alternating direction method of multipliers (ADMM) is also closely related. In this paper we show that all of these algorithms can be derived as different discretizations of a single differential equation, namely the simple gradient flow. This is achieved through splitting methods for differential equations. Moreover, employing similar discretization schemes to a particular second-order differential equation, which we refer to as the accelerated gradient flow, results in accelerated variants of each respective proximal algorithm; we simultaneously consider two types of acceleration, although other choices are also possible. For instance, we propose accelerated variants of Davis-Yin and Tseng splitting, as well as accelerated extensions of ADMM. Interestingly, we show that ADMM and its accelerated variants correspond to rebalanced splittings, which is a recent technique designed to preserve steady states of the underlying differential equation. We show that all derived algorithms are valid first-order integrators under suitable assumptions. Our results strengthen the connections between optimization and continuous dynamical systems, offer a unified perspective on accelerated algorithms, and provide new accelerated algorithms.

研究の動機と目的

• 前向き後向き、ツェン、ダグラス＝ラッチャフォード、デイヴィス＝イェン、およびADMMといった既存の近接アルゴリズムを、単一の連続時間力学的系フレームワークとして統一すること。
• これらのアルゴリズムが、単純な勾配流れ微分方程式の異なる時間離散化として生じることを確立すること。
• 2階加速勾配流れに同様の離散化スキームを適用することで、各アルゴリズムの加速版を導出すること。
• ADMMおよびその加速版が、元の微分方程式の定常状態を保存する再バランス分割法に対応することを示すこと。
• 連続時間動的系と分割法を用いた連続時間動的系理論を基盤として、第一順序積分子の理論的基盤を提供すること。

提案手法

• すべての標準的近接アルゴリズムを、第一順序勾配流れ微分方程式の明示的時間離散化として導出する。
• 加速された2階微分方程式、すなわち加速勾配流れを、加速アルゴリズムの基盤として導入する。
• 微分方程式の分割法を用いて加速勾配流れを離散化し、既存の近接スキームの新たな加速版を生成する。
• 再バランス分割技術を用いて、特にADMMおよびその加速版に対して、元の微分方程式の定常状態を保存する。
• 問題構造およびステップサイズに関する適切な仮定の下で、すべての導出されたアルゴリズムが有効な第一順序積分子であることを確立する。
• 連続時間力学的系理論を活用して、標準的および加速近接アルゴリズムの分析を統一的に扱う。

実験結果

リサーチクエスチョン

• RQ1 すべての主要な近接アルゴリズムは、単一の連続時間力学的系の時間離散化として導出可能か？
• RQ2 第一順序最適化における加速は、2階微分方程式から体系的にどのように導出可能か？
• RQ3 再バランス分割の役割は、特にADMMに対して、最適化ダイナミクスの定常状態を保存する上で果たすか？
• RQ4 導出されたデイヴィス＝イェンおよびツェン分裂法の加速版は、非加速版と同等の仮定のもとで収束保証を維持するか？
• RQ5 微分方程式の離散化に基づく統一的枠組みは、多様な近接法の収束行動と加速メカニズムを説明できるか？

主な発見

• 前向き後向き、ツェン、ダグラス＝ラッチャフォード、デイヴィス＝イェン、およびADMMを含む、すべての標準的近接アルゴリズムが、同一の第一順序勾配流れ微分方程式の異なる時間離散化として導出可能である。
• これらのアルゴリズムの加速版は、2階加速勾配流れに同じ離散化スキームを適用することで得られ、加速デイヴィス＝イェンおよびツェン分裂法を含む新たな加速手法が得られる。
• ADMMおよびその加速版が、元の微分方程式の定常状態を保存する再バランス分割法に対応することを示し、それらの安定性および収束特性が説明される。
• 提案された加速アルゴリズムは、標準的な仮定のもとで有効な第一順序積分子であり、改善された収束速度を保証する。
• 本フレームワークは、最適化と連続力学的系の間の関係を強化する統一的理論的視点を提供する。
• 結果として、近接アルゴリズムにおける加速は、2階ダイナミクスから体系的に導出可能であり、新たなアルゴリズム設計の原理的道筋を提供することが示された。