[論文レビュー] Accelerated Forward-Backward Optimization using Deep Learning

Sebastian Banert, Jevgenija Rudzusika+2 more|arXiv (Cornell University)|May 11, 2021

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、学習された更新を特定の集合に制約することにより収束を保証する、深層学習を活用した前向き・後向き最適化フレームワークを提案する。この手法は、FISTA や ISTA よりも優れた性能を示し、特に初期反復において顕著な向上を達成する一方で、理論的収束性を維持する。この方法は、収束が保証されるパrameter の集合内で最適な更新を学習するニューラルネットワークを用いる。

ABSTRACT

We propose several deep-learning accelerated optimization solvers with convergence guarantees. We use ideas from the analysis of accelerated forward-backward schemes like FISTA, but instead of the classical approach of proving convergence for a choice of parameters, such as a step-size, we show convergence whenever the update is chosen in a specific set. Rather than picking a point in this set using some predefined method, we train a deep neural network to pick the best update. Finally, we show that the method is applicable to several cases of smooth and non-smooth optimization and show superior results to established accelerated solvers.

研究の動機と目的

• 科学計算や逆問題における大規模な非滑らか凸最適化の高速化という課題に対処すること。
• LISTA などの既存の学習最適化手法に見られる収束保証の欠如を克服すること。
• 前向き・後向き分割スキームに深層学習を組み合わせ、理論的収束性を保証するフレームワークを開発すること。
• 初期反復での収束を早める一方で、制約付き更新学習によりグローバル収束を保証すること。
• 非滑らか問題、特にコンputedトモグラフィ（CT）におけるスパarsity促進正則化への学習最適化の適用範囲を拡張すること。

提案手法

• 滑らかで微分可能な凸関数と、非滑らかで適切かつ下半分連続な凸関数の和の最小化として最適化を定式化する。
• 偏差に基づくアプローチを採用：固定パrameter を学習する代わりに、収束を保証する全次元の集合内で更新関数を学習する。
• 加速された前向き・後向きスキーム（例：FISTA）の収束理論に基づき、更新がこの集合内にある限り収束が保証される有効な更新の集合を定義する。
• 教師あり学習を用い、真値解と比較して最適な更新を選択するため、深層ニューラルネットワークを訓練する。
• 式 (37) に示す正規化制約を導入し、学習された偏差の大きさを制御することで、収束性を確保するとともに性能を向上させる。
• 特にスパarsity促進正則化を伴う非滑らか最適化問題、特に CT 画像再構成に、学習された前向き・後向きスキームを適用する。

実験結果

リサーチクエスチョン

• RQ1 深層学習を用いて前向き・後向き最適化を高速化しつつ、理論的収束保証を維持することは可能か？
• RQ2 特定の選択にかかわらず収束が保証されるような、有効な更新の空間をどのように定義できるか？
• RQ3 高次元で収束性が保証される更新集合から、ニューラルネットワークが最適な更新を効果的に学習し、FISTA などの古典的ソルバーを上回ることができるか？
• RQ4 正規化パrameter（例：α）の影響は、収束速度および初期反復での性能にどのように現れるか？
• RQ5 提案手法は、CT 画像再構成のような実用的応用において、FISTA や ISTA よりも速い収束を達成できるか？

主な発見

• 提案手法は、最適化の最初の 10 反復において、ISTA や FISTA よりも優れた性能を示し、特に初期収束速度が顕著に向上している。
• α = 0.5 の場合、非滑らか最適化においてテストされた正規化パrameter の中で最も優れた性能を達成しており、速度と収束のバランスが取れている。
• 式 (37) による正規化は、10 反復以降の性能を顕著に向上させるとともに、グローバル収束を保証する。
• この手法は正確な解に収束することを確認しており、深層ニューラルネットワークを用いて学習されたにもかかわらず、理論的収束保証が成立していることが裏付けられている。
• 本手法は、スパarsity促進正則化を伴う非滑らか問題、特にコンputedトモグラフィ（CT）再構成への応用において、良好な一般化性能を示している。
• グローバル収束を損なわず、わずか数回の反復でも古典的ソルバーを大きく上回る性能向上を実現できる。