[論文レビュー] Gradient descent in a generalised Bregman distance framework

Martin Benning, Marta M. Betcke+2 more|arXiv (Cornell University)|Dec 8, 2016

Numerical methods in inverse problems参考文献 5被引用数 6

ひとこと要約

本稿では、バナッハ空間における滑らかで凸でない目的関数へと線形化ブレグマン反復を拡張する一般化ブレグマン距離フレームワークを提案する。滑らかでない正則化汎関数を含む状況でも収束を保証するため、一般化されたカーディカ＝ロジャシェフスキー条件の下で十分減少性とグローバル収束性を確立している。

ABSTRACT

We discuss a special form of gradient descent that in the literature has become known as the so-called linearised Bregman iteration. The idea is to replace the classical (squared) two norm metric in the gradient descent setting with a generalised Bregman distance, based on a more general proper, convex and lower semi-continuous functional. Gradient descent as well as the entropic mirror descent by Nemirovsky and Yudin are special cases, as is a specific form of non-linear Landweber iteration introduced by Bachmayr and Burger. We are going to analyse the linearised Bregman iteration in a setting where the functional we want to minimise is neither necessarily Lipschitz-continuous (in the classical sense) nor necessarily convex, and establish a global convergence result under the additional assumption that the functional we wish to minimise satisfies the so-called Kurdyka-Łojasiewicz property.

研究の動機と目的

• バナッハ空間における滑らかで凸でない汎関数への線形化ブレグマン反復の拡張。
• 弱い仮定の下で一般化ブレグマン勾配降下法の収束保証の確立。
• 滑らかでない正則化を用いた位相アンラップリングの玩具的例を通じて、フレームワークの適用可能性の提示。
• メトリクスに基づく降下法を超えて、滑らかでないブレグマン距離を反復的最適化に用いるための理論的基盤の提供。

提案手法

• 適切で下方連続かつ凸な汎関数 $ J $ の部分微分を用いて一般化ブレグマン距離を定式化する。
• 各ステップで勾配の線形化項とブレグマン距離の組み合わせを最小化する形で、線形化ブレグマン反復を導入する。
• ステップサイズ $ \\tau^k $ における曲率条件と対称ブレグマン距離を用いて、十分減少性を導出する。
• 一般化されたカーディカ＝ロジャシェフスキー（KL）条件の下でグローバル収束性を確立し、プライマル反復と双対勾配を結びつける。
• ゼロ、チホノフ、および $ \\ell^1 $-ベースの正則化の3通りの選択肢を用いた位相アンラップリング問題にフレームワークを適用する。
• データ適合性に基づき、ノイズに強い反復停止を保証するため、不一致原理を用いる。

実験結果

リサーチクエスチョン

• RQ1 線形化ブレグマン反復は、バナッハ空間における非凸で滑らかな目的関数へと拡張可能か？
• RQ2 一般化ブレグマン勾配降下法が十分減少性と収束性を保証する条件は何か？
• RQ3 滑らかでない正則化（例：$ \\ell^1 $-ノルム）の選択が、滑らかなメトリクスと比較して収束性と性能に与える影響は何か？
• RQ4 非凸問題における収束性の確立に、対称ブレグマン距離が果たす役割は何か？
• RQ5 滑らかでない正則化を伴う実世界の逆問題（例：位相アンラップリング）に、このフレームワークを適用可能か？

主な発見

• 対称ブレグマン距離を用いることで、線形化ブレグマン反復は不等式 (4) で形式化されたように、目的関数の十分減少を保証する。
• 与えられた仮定の下で、連続する反復間の対称ブレグマン距離はゼロに収束する。すなわち、$ \lim_{k\to\infty} D^\text{symm}_J(u^{k+1}, u^k) = 0 $。
• 一般化されたカーディカ＝ロジャシェフスキー条件の下で、非凸目的関数に対してもグローバル収束性が確立される。
• 数値実験の結果、滑らかでないブレグマン距離（例：$ \|Cu\|_{\ell^1} $）は、特にエッジの保持を重視する場面で、滑らかなチホノフ型正則化を上回る性能を示す。
• ノイズに強く、反復はノイズレベル $ \sigma = 0.15 $ に基づく不一致原理により停止される。
• ステップサイズ条件 (3) が満たされる限り、正則化汎関数 $ J $ が滑らかでない場合でも、フレームワークは適用可能である。