[論文レビュー] Learnable Descent Algorithm for Nonsmooth Nonconvex Image Reconstruction

Yunmei Chen, Hongcheng Liu+2 more|arXiv (Cornell University)|Jul 22, 2020

Sparse and Compressive Sensing Techniques参考文献 84被引用数 6

ひとこと要約

本稿では、非滑らかで非凸な画像再構成のための学習可能な勾配降下法（LDA）を提案する。正則化項を、深層畝込みニューラルネットワーク（DNN）でパrameter化された非凸な特徴マップとの合成として定式化した$l_{2,1}$-ノルムとしてモデル化する。ネステロフの滑らか化と残差学習を活用することで、LDAはクラークの定常点への収束を保証し、多様な画像再構成タスクにおいてパラメータ効率性と頑健性を兼ね備えた最先端の性能を達成する。

ABSTRACT

We propose a general learning based framework for solving nonsmooth and nonconvex image reconstruction problems. We model the regularization function as the composition of the $l_{2,1}$ norm and a smooth but nonconvex feature mapping parametrized as a deep convolutional neural network. We develop a provably convergent descent-type algorithm to solve the nonsmooth nonconvex minimization problem by leveraging the Nesterov's smoothing technique and the idea of residual learning, and learn the network parameters such that the outputs of the algorithm match the references in training data. Our method is versatile as one can employ various modern network structures into the regularization, and the resulting network inherits the guaranteed convergence of the algorithm. We also show that the proposed network is parameter-efficient and its performance compares favorably to the state-of-the-art methods in a variety of image reconstruction problems in practice.

研究の動機と目的

• 変分的画像再構成における手作業で設計された正則化項の限界を解決すること。これらはしばしば複雑な画像構造を捉えるのに不十分である。
• 非滑らかで非凸な問題に対する従来の最適化手法の遅い収束性とパラメータチューニングへの感受性を克服すること。
• 深層学習と最適化理論を統合し、微分可能で解釈可能かつ収束保証のある画像再構成フレームワークを構築すること。
• 収束性を保ちつつデータ駆動の特徴表現に適応する学習可能な最適化アルゴリズムを開発すること。
• 正則化関数と最適化ダイナミクスを同時に学習することで、パラメータ効率的かつ高性能な画像再構成を実現すること。

提案手法

• 正則化項を $ r(\mathbf{x};\theta) = \| \mathbf{g}(\mathbf{x};\theta) \|_{2,1} $ としてモデル化する。ここで $ \mathbf{g} $ は学習可能なパラメータ $ \theta $ を持つ深層畝込みニューラルネットワークである。
• 非滑らか性を扱うためにネステロフの滑らか化技術を適用し、勾配ベース最適化を可能にする。
• 残差学習を用いた降下型アルゴリズムを設計し、適応的ステップサイズと滑らか化パラメータ $ \varepsilon_k $ を用いて反復的に解を更新する。
• 滑らか化された目的関数 $ \phi_{\varepsilon_k} $ の十分な減少を保証するため、減少率 0.5 のバックトラッキングラインサーチを用いる。
• 訓練データ上で平均損失 $ \frac{1}{N} \sum_{s=1}^N \| \mathbf{x}_\theta^{(s)} - \hat{\mathbf{x}}^{(s)} \|_2^2 $ を最小化することで、ネットワークパラメータ $ \theta $ を教師付き学習で訓練する。
• 弱い条件下でもLDAの反復がクラークの定常点に収束することを理論的に証明することで、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク正則化最適化フレームワークは、理論的収束保証を維持しながら、優れた画像再構成性能を達成できるか？
• RQ2 適応的滑らか化とラインサーチを用いた学習可能な降下アルゴリズムにより、非滑らかで非凸な正則化を効果的に最適化できるか？
• RQ3 学習された特徴マップ $ \mathbf{g} $ は、トータルバリエーションのような古典的手法の正則化と比較して、エッジ、テクスチャなどの複雑な構造的詳細をどの程度正確に捉えられるか？
• RQ4 15フェーズの訓練プロトコルを過ぎても、LDAフレームワークは安定して効果的であるか？
• RQ5 提案手法は、圧縮センシングやノイズ除去などの多様な画像再構成タスクに一般化可能であり、パラメータ効率性と頑健性を兼ね備えているか？

主な発見

• LDAアルゴリズムはクラークの定常点に収束する。非凸性と非滑らか性がある中でも、理論的安定性と収束保証を提供する。
• LDAは、圧縮センシングやノイズ除去を含む画像再構成タスクで最先端の性能を達成し、古典的TV法や学習された事前分布法と比較してPSNR向上を実現した。
• 学習された特徴マップ $ \mathbf{g} $ は、バタフライの触角、建物の輪郭、パラキシのくちばしといった微細な構造的詳細を捉えており、標準的なトータルバリエーション正則化ではぼやけたり消失するのを防いでいる。
• 15回の訓練反復を過ぎても、LDAは目的関数を改善し、12,000回を超える反復で安定したPSNRを維持している。訓練後も継続的な最適化が可能で、頑健性が裏付けられている。
• 12,832回の反復で滑らか化パラメータ $ \varepsilon_k $ を109回減少させ、発散を伴わず効果的な適応と収束を示している。
• 本手法はパラメータ効率的である。ネットワークアーキテクチャはアルゴリズムから収束保証を継承しており、訓練プロセスは多様な画像再構成問題に安定的かつ汎用的に適用可能である。