[論文レビュー] A unified framework for Bregman proximal methods: subgradient, gradient, and accelerated gradient schemes

David H. Gutman, Javier Peña|arXiv (Cornell University)|Dec 26, 2018

Sparse and Compressive Sensing Techniques被引用数 10

ひとこと要約

この論文は、凸共役の性質を活用して、凸最適化におけるBregman近接勾配勾配勾配法の統一的枠組みを導入し、部分勾配、勾配、加速勾配スキームの収束速度を証明する。相対的滑らかさと三角形スケーリングの仮定がやや弱い条件下で、既存の最良の収束速度を達成する新しい加速Bregman近接勾配アルゴリズムを提案する。滑らかさやスケーリング定数の事前知識が不要である。

ABSTRACT

We provide a unified framework for analyzing the convergence of Bregman proximal first-order algorithms for convex minimization. Our framework hinges on properties of the convex conjugate and gives novel proofs of the convergence rates of the Bregman proximal subgradient, Bregman proximal gradient, and a new accelerated Bregman proximal gradient algorithm under fairly general and mild assumptions. Our accelerated Bregman proximal gradient algorithm attains the best-known accelerated rate of convergence when suitable relative smoothness and triangle scaling assumptions hold. However, the algorithm requires no prior knowledge of any related smoothness or triangle scaling constants.

研究の動機と目的

• 凸共役の性質を用いて、凸最小化のためのBregman近接勾配勾配勾配法の分析を統一すること。
• 一般的でやや弱い仮定の下で、Bregman近接勾配勾配勾配法、勾配法、加速勾配法の収束速度を確立すること。
• 滑らかさや三角形スケーリング定数の事前知識が不要でありながら、最適収束速度を達成する新しい加速Bregman近接勾配アルゴリズムを開発すること。
• 従来の手法よりも単純かつより一般的な収束証明を提供すること。

提案手法

• 凸共役の性質に基づいて、異なるBregman近接スキームにおける収束行動を分析・統一する。
• 滑らかさや三角形スケーリング定数の知識が不要であり、問題構造に動的に適応する新しい加速Bregman近接勾配アルゴリズムを導入する。
• 収束速度は、一般的でやや弱い相対的滑らかさと三角形スケーリング仮定に基づいて導出される。
• Bregman発散を用いて、標準的なユークリッド射影を一般化する近接作用素を定義する。
• 双対性と凸共役恒等式を活用して反復の進捗をバインドすることで、収束速度を確立する。
• この枠組みにより、単一の理論的枠組みの下で、部分勾配、勾配、加速スキームを統一的に取り扱える。

実験結果

リサーチクエスチョン

• RQ1 Bregman近接勾配勾配勾配法、勾配法、加速勾配法を、一つの理論的枠組みでどのように分析できるか？
• RQ2 Bregman近接勾配勾配勾配法の収束を達成するために必要な最小限の仮定は何か？
• RQ3 滑らかさやスケーリング定数の事前知識が不要でありながら、既存の最良の収束速度を達成する加速Bregman近接勾配アルゴリズムを設計可能か？
• RQ4 凸共役の性質は、これらの手法の収束証明をより単純かつより一般的にするのにどのように寄与するか？

主な発見

• 提案された枠組みは、凸共役解析を用いて、Bregman近接勾配勾配勾配法および勾配法の収束速度について、新規で簡略化された証明を提供する。
• 新しい加速Bregman近接勾配アルゴリズムは、相対的滑らかさと三角形スケーリング仮定の下で、既存の最良の収束速度を達成する。
• アルゴリズムは滑らかさや三角形スケーリング定数の事前知識を必要とせず、実用的応用性が向上する。
• 収束解析は、かなり一般的でやや弱い仮定の下でも成立し、適用可能な最適化問題の範囲が広がる。