[論文レビュー] Accelerated Bregman Proximal Gradient Methods for Relatively Smooth Convex Optimization

Filip Hanzely, Peter Richtárik+1 more|arXiv (Cornell University)|Aug 9, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用数 28

ひとこと要約

本稿では、相対的滑らかさを持つ凸最適化問題に対して、Bregman散発の三角不等式スケーリング指数（TSE）を活用した加速Bregman近位勾配（ABPG）法を提案する。収束速度は $O(k^{-\theta})$（$ heta \in (0,2]$）を達成する。本稿では、内在的TSEが常に2に等しいことを示し、理論的保証が限られる状況でも、数値的証明を伴って $O(k^{-2})$ の収束速度を実現する適応的アルゴリズムを構築する。

ABSTRACT

We consider the problem of minimizing the sum of two convex functions: one is differentiable and relatively smooth with respect to a reference convex function, and the other can be nondifferentiable but simple to optimize. We investigate a triangle scaling property of the Bregman distance generated by the reference convex function and present accelerated Bregman proximal gradient (ABPG) methods that attain an $O(k^{-γ})$ convergence rate, where $γ\in(0,2]$ is the triangle scaling exponent (TSE) of the Bregman distance. For the Euclidean distance, we have $γ=2$ and recover the convergence rate of Nesterov's accelerated gradient methods. For non-Euclidean Bregman distances, the TSE can be much smaller (say $γ\leq 1$), but we show that a relaxed definition of intrinsic TSE is always equal to 2. We exploit the intrinsic TSE to develop adaptive ABPG methods that converge much faster in practice. Although theoretical guarantees on a fast convergence rate seem to be out of reach in general, our methods obtain empirical $O(k^{-2})$ rates in numerical experiments on several applications and provide posterior numerical certificates for the fast rates.

研究の動機と目的

• 基準となるBregman散発に関して相対的滑らかである目的関数を対象とする、加速された一次順序最適化手法の開発。
• Bregman距離の三角不等式スケーリング指数（TSE）を用いた収束速度の特定。
• 常に2に等しい内在的TSEの概念を導入し、適応的加速戦略を可能にする。
• 理論的 $O(k^{-2})$ 保証が得られない場合でも、高速な実験的収束速度を達成する適応的ABPG法の設計。
• 実装上での幾何平均 $G_k$ の観察に基づき、$O(k^{-2})$ 収束のための数値的証明を提供すること。

提案手法

• Bregman距離の成長率を測る指標として三角不等式スケーリング指数（TSE）$\gamma$ を導入し、$\gamma \in (0,2]$ を定義する。
• TSE $\gamma$ に対する $\gamma$-スケーリング条件を満たす場合、$O(k^{-\gamma})$ 収束を達成する加速Bregman近位勾配（ABPG）法を提案する。
• Bregman距離が三角不等式スケーリング不等式を満たすようなすべての $\gamma$ の上界として、内在的TSEを定義し、それが常に2に等しいことを証明する。
• 観察された利得 $G_k$ を基に加速パラメータ $\gamma_k$ を動的に調整する適応的ABPG変種（例：ABPG-g, ABPG-e）を開発する。
• $O(k^{-2})$ 収束の事後的数値的証明として、利得 $G_k$ の幾何平均 $\overline{G}_k$ を用いる。
• 標準的手法におけるユークリッドノルムの代わりに、近位部分問題における近接度の測度としてBregman散発 $D_h(x,y)$ を採用する。

実験結果

リサーチクエスチョン

• RQ1 Bregman距離の三角不等式スケーリング指数が小さい場合、加速Bregman近位勾配法が $\gamma < 2$ の $O(k^{-\gamma})$ 収束を達成できるか？
• RQ2 個々のTSE値に依存せずに、異なるBregman散発間で普遍的な加速可能性の指標を定義できるか？
• RQ3 リアルタイムでTSEを推定する適応戦略は、固定パrameter法に比べてより高速な実用的収束を実現できるか？
• RQ4 理論的保証が得られない非ユークリッド的設定において、$O(k^{-2})$ 収束の信頼できる数値的指標は何か？
• RQ5 非ユークリッド的で相対的滑らかな問題において、ABPG法の性能と収束特性は、標準的BPGおよびBPG-LSに比べてどう異なるか？

主な発見

• 内在的三角不等式スケーリング指数（TSE）は常に2に等しく、これは、基盤となるBregman散発に依存しない加速の普遍的基盤を提供する。
• ABPG-g や ABPG-e などの適応的ABPG法は、理論的保証が得られない状況でも、数値実験で $O(k^{-2})$ の実験的収束速度を達成する。
• 利得 $G_k$ の幾何平均 $\overline{G}_k$ は反復の全期間にわたり小さく保たれ（例：$G_k \ll 1$）、$O(k^{-2})$ 収束の数値的証明として機能する。
• D最適設計問題において、$\gamma=2$ のABPGは、ネステロフの加速法と同等またはそれを上回る収束速度を達成する。
• 相対エントロピーを用いた非負値回帰問題では、リスタート付きで適応的 $\gamma_k$ を用いるABPGが、標準的BPGおよびBPG-LSを上回り、特に高次元設定で顕著な性能向上を示す。
• ABPG-eにおける有効利得 $\widehat{G}_k$ は、$\gamma_k$ を3から2.8に低下させた際に著しく減少し、内在的TSEが2に等しいことに整合した改善された収束行動を示している。