[論文レビュー] BISTA: a Bregmanian proximal gradient method without the global Lipschitz continuity assumption.

Daniel Reem, Simeon Reich+1 more|arXiv (Cornell University)|Apr 19, 2018

Sparse and Compressive Sensing Techniques参考文献 40被引用数 3

ひとこと要約

本稿では、凸最適化における滑らかな項の勾配のグローバルリプシッツ連続性仮定を不要にする、新たなブレグマン型プロキシマル勾配法BISTAを提案する。ブレグマン発散と集合の分解戦略を活用することで、実用的条件下において、有限次元および無限次元空間で非漸近的収束速度と弱収束を達成する。

ABSTRACT

The problem of minimization of a separable convex objective function has various theoretical and real-world applications. One of the popular methods for solving this problem is the proximal gradient method (proximal forward-backward algorithm). A very common assumption in the use of this method is that the gradient of the smooth term in the objective function is globally Lipschitz continuous. However, this assumption is not always satisfied in practice, thus casting a limitation on the method. In this paper we discuss, in a wide class of finite and infinite-dimensional spaces, a new variant (BISTA) of the proximal gradient method which does not impose the above-mentioned global Lipschitz continuity assumption. A key contribution of the method is the dependence of the iterative steps on a certain decomposition of the objective set into subsets. Moreover, we use a Bregman divergence in the proximal forward-backward operation. Under certain practical conditions, a non-asymptotic rate of convergence (that is, in the function values) is established, as well as the weak convergence of the whole sequence to a minimizer. We also obtain a few auxiliary results of independent interest, among them a general and useful stability principle which, roughly speaking, says that given a uniformly continuous function defined on an arbitrary metric space, if we slightly change the objective set over which the optimal (extreme) values are computed, then these values vary slightly. This principle suggests a general scheme for tackling a wide class of non-convex and non-smooth optimization problems.

研究の動機と目的

• プロキシマル勾配法が勾配のグローバルリプシッツ連続性を要するという制限を解消すること。この仮定は実世界の応用で頻繁に破られる。
• このような勾配仮定が成立しない状況においても、有限次元および無限次元空間に適用可能な新しい最適化フレームワークの開発。
• より弱く実用的な仮定の下で、非漸近的収束速度と弱収束を保証する収束保証の確立。
• 摂動された集合上での最適化のための一般化された安定性原理の導入。これは非凸的・非滑らかな問題へも拡張可能である可能性を有する。
• 強い滑らかさ仮定に依存せずに、分離可能な凸最小化問題を扱う理論的基盤の提供。

提案手法

• 従来のプロキシマル法で用いられる標準的なユークリッド距離に代えて、Bregman発散をプロキシマル前進後退ステップに採用する。
• 目的関数の集合を部分集合に分解する戦略を導入し、反復的更新プロセスをガイドするとともに、非リプシッツ勾配への適応を可能にする。
• 一般の距離空間、特に無限次元ヒルバート空間を含む、広範な設定で動作するようにアルゴリズムを設計する。これにより、有限次元設定に限らない応用範囲を拡大する。
• 収束解析には、新たな安定性原理を基盤とする：可縮性が保証された場合、実行可能集合の小さな摂動は最適値の小さな変化を引き起こす。
• 反復スキームは降下性を維持し、勾配がグローバルリプシッツでない場合でも収束を保証するように構築される。
• グローバル滑らかさを要件としない関数値の非漸近的収束速度が導出され、実用的な収束境界が保証される。

実験結果

リサーチクエスチョン

• RQ1 勾配のグローバルリプシッツ連続性仮定を必要としないプロキシマル勾配法を設計することは可能か？
• RQ2 非リプシッツ設定において、ユークリッドプロキシマル項の代わりにBregman発散を効果的にどのように用いることができるか？
• RQ3 目的関数集合の分解条件および関数構造にどのような条件が課されると、無限次元空間でも収束が保証されるか？
• RQ4 摂動された最適化集合に対して一般化された安定性原理を確立し、収束保証に応用することは可能か？
• RQ5 グローバルリプシッツ連続性仮定よりも弱い仮定の下で、どのような非漸近的収束速度が達成可能か？

主な発見

• BISTAは、グローバルリプシッツ連続性仮定がなくても、実用的条件下で関数値の非漸近的収束速度を達成する。
• 本手法は、有限次元および無限次元空間の両方で、解の列全体の弱収束を保証する。
• 一般化された安定性原理が確立された：一様連続関数は、実行可能集合がわずかに摂動されても、関数値の変化が小さい。
• プロキシマルステップにおけるBregman発散の使用により、非滑らかまたは非リプシッツ勾配の取り扱いに高い柔軟性が与えられる。
• 目的関数集合の部分集合への分解により、適応的ステップサイズ選択が可能となり、複雑な設定における収束特性が向上する。
• 理論的枠組みは、より広範な非凸的・非滑らかな最適化問題へのプロキシマル法の拡張の基盤を提供する。