[論文レビュー] On the Convergence of Learning-based Iterative Methods for Nonconvex Inverse Problems

Risheng Liu, Shichao Cheng+4 more|arXiv (Cornell University)|Aug 16, 2018

Sparse and Compressive Sensing Techniques参考文献 36被引用数 3

ひとこと要約

本稿では、非凸逆問題における学習ベースの反復的手法のための、証明可能にグローバル収束するフレームワークである、柔軟な反復的モジュラー化アルゴリズム（FIMA）を提案する。Kurdyka-Łojasiewicz（KŁ）性質の下で理論的収束保証を持つ学習可能モジュールを統合することで、FIMAは臨界点への収束を保証するとともに、データに適応する最適化を可能にし、実世界の応用において、古典的手法および深層学習ベースの手法を凌駕する性能を発揮する。

ABSTRACT

Numerous tasks at the core of statistics, learning and vision areas are specific cases of ill-posed inverse problems. Recently, learning-based (e.g., deep) iterative methods have been empirically shown to be useful for these problems. Nevertheless, integrating learnable structures into iterations is still a laborious process, which can only be guided by intuitions or empirical insights. Moreover, there is a lack of rigorous analysis about the convergence behaviors of these reimplemented iterations, and thus the significance of such methods is a little bit vague. This paper moves beyond these limits and proposes Flexible Iterative Modularization Algorithm (FIMA), a generic and provable paradigm for nonconvex inverse problems. Our theoretical analysis reveals that FIMA allows us to generate globally convergent trajectories for learning-based iterative methods. Meanwhile, the devised scheduling policies on flexible modules should also be beneficial for classical numerical methods in the nonconvex scenario. Extensive experiments on real applications verify the superiority of FIMA.

研究の動機と目的

• 非凸逆問題における学習ベースの反復的手法に理論的収束保証が欠けているという問題に対処すること。
• 固定された手作業で設計された更新ルールに制限される古典的ソルバーの限界を克服し、データ固有の構造を活用できないことの是正。
• 学習可能なコンponentsを許容しつつもグローバル収束を保証する汎用的でモジュラーなフレームワークの開発。
• 滑らかでない項を含む非凸設定における反復的手法の収束を統一的に理論的に分析すること。
• 視覚や学習分野における実世界の逆問題において、提案手法の実用的優位性を示すこと。

提案手法

• 最適化問題を順次的で学習可能な部分問題に分解する、柔軟な反復的モジュラー化フレームワークFIMAを提案する。
• Kurdyka-Łojasiewicz（KŁ）条件の下で収束を保証する、モジュールコンponentのスケジューリングポリシーを導入する。
• 各変数を順次に更新するブロック反復更新戦略を採用し、学習可能なパラメータを用いたproximalに類似したステップを実行する。
• 目的関数の減少を分析することで収束保証を導出し、反復列がコーシー列であることを示す。
• KŁ性質を用いて収束速度を確立し、反復列が臨界点へグローバルに収束することを証明する。
• データ適合項fと事前分布項gの両方が非凸である非凸問題にフレームワークを適用し、fは連続的に微分可能で、gは滑らかでないとする。

実験結果

リサーチクエスチョン

• RQ1 非凸逆問題に対して、証明可能なグローバル収束を有する学習ベースの反復的手法を設計できるか？
• RQ2 理論的収束保証を損なわずに、学習可能なモジュールを反復ソルバーに統合する方法は何か？
• RQ3 このようなハイブリッドな学習最適化スキームの収束を保証する理論的条件は何か、非凸設定において？
• RQ4 提案されたフレームワークは、古典的手法やエンドツーエンドの深層学習手法と比較して、実世界の逆問題において性能向上を達成できるか？
• RQ5 Kurdyka-Łojasiewicz（KŁ）性質の下で、提案手法の収束速度をどのように確立できるか？

主な発見

• FIMAは、Kurdyka-Łojasiewicz（KŁ）性質の下で、目的関数の臨界点への反復列のグローバル収束を保証する。
• FIMAが生成する反復列はコーシー列であるため、定常点への収束が保証される。
• 同じKŁ仮定の下で、古典的proximalスキームと同等の収束速度を確立する。
• 実験結果から、FIMAは実際の逆問題において、古典的反復ソルバーおよびエンドツーエンドの深層学習ベースラインを上回る性能を発揮することが示された。
• fが連続的に微分可能で、gが滑らかでない限り、fとgの両方が非凸であっても収束解析が成立する。
• フレームワークは柔軟でデータに適応するモジュールスケジューリングを可能にし、固定構造のソルバーに比べて優れた性能を発揮できる。