[論文レビュー] Convex Regularization Behind Neural Reconstruction

Arda Sahiner, Morteza Mardani+3 more|arXiv (Cornell University)|Dec 9, 2020

Sparse and Compressive Sensing Techniques参考文献 50被引用数 6

ひとこと要約

本稿では、2層完全畳み込みReLUノイズ除去ネットワークの学習および推論を多項式時間で解ける凸最適化問題に再定式化する凸双対性フレームワークを導入する。ゼロ双対ギャップ理論を活用することで、重み減衰が経路スパarsity正則化を誘発すること、予測がパッチベースのクラスタリングに続く線形フィルタリングに対応することを明らかにし、MNISTおよびfastMRIデータセットにおける画像再構成タスクにおいて、グローバル最適性、ロバスト性、解釈可能性を実現する。

ABSTRACT

Neural networks have shown tremendous potential for reconstructing high-resolution images in inverse problems. The non-convex and opaque nature of neural networks, however, hinders their utility in sensitive applications such as medical imaging. To cope with this challenge, this paper advocates a convex duality framework that makes a two-layer fully-convolutional ReLU denoising network amenable to convex optimization. The convex dual network not only offers the optimum training with convex solvers, but also facilitates interpreting training and prediction. In particular, it implies training neural networks with weight decay regularization induces path sparsity while the prediction is piecewise linear filtering. A range of experiments with MNIST and fastMRI datasets confirm the efficacy of the dual network optimization problem.

研究の動機と目的

• 医療画像などの感受性の高い分野で使用される非凸的で透過性のない深層ニューラルネットワークにおける解釈不能性とロバスト性の欠如に対処すること。
• 出力画素間で共有された表現を持つ、2層完全畳み込みReLUネットワークのための凸最適化フレームワークを提供すること。
• 学習における重み減衰正則化の効果を、暗黙の容量制御である経路スパarsityの誘発として解釈すること。
• 予測プロセスが、潜在表現に基づく画像パッチのクラスタリングに続く線形フィルタリングに対応することを明らかにすること。
• 凸双対定式化が、MNISTおよびfastMRIデータセットにおける元の非凸ネットワークと同等の性能を達成することを示すこと。

提案手法

• 符号パターンを用いた再パラメータライゼーションとFenchel双対性を用いて、元の非凸ニューラルネットワーク学習問題を凸最適化問題に定式化する。
• 非凸問題を凸双対性に適した形に変換するためのスケーリングステップを導入し、扱いやすい双対定式化を可能にする。
• Fenchel–Moreau定理を適用して強い双対問題を導出し、双対変数の符号パターンを用いて制約集合を再表現する。
• 双対空間における潜在表現に基づいて入力パッチをクラスタリングすることで、予測を区分的線形フィルタとして再構成する。
• 標準的な凸ソルバを用いて、学習および推論におけるグローバル収束性とロバスト性を保証する。
• MNISTおよびfastMRIにおける実験を通じて双対ギャップを検証し、元の定式化と双対定式化の等価性を確認する。

実験結果

リサーチクエスチョン

• RQ1 2層完全畳み込みReLUノイズ除去ネットワークは、多項式時間で解ける凸最適化問題に再定式化可能か？
• RQ2 このようなネットワークにおける重み減衰正則化は、暗黙的に経路スパarsityを誘発するのか？その解釈は双対空間でどのように可能か？
• RQ3 双対定式化において、ネットワークの予測メカニズムはパッチベースのクラスタリングに続く線形フィルタリングとして解釈可能か？
• RQ4 元の非凸学習目的関数とその凸双対との間には、最適性および双対ギャップの観点でどのような関係があるか？
• RQ5 凸双対定式化は、元のネットワークと同等の性能を画像再構成タスクで維持するか？

主な発見

• 凸双対定式化はゼロ双対ギャップを達成しており、元の非凸問題の最適値が凸双対問題で正確に再現されることを意味する。
• 重み減衰を含む学習目的関数は、双対空間における経路スパarsity正則化を誘発するものとして解釈され、暗黙の容量制御の一種を提供する。
• 予測フェーズは、潜在表現に基づく画像パッチのクラスタリングと、各クラスタ内での線形フィルタリングの適用に対応する。
• 標準的な凸ソルバを用いることで、凸双対定式化は多項式時間で解けるため、グローバル収束性とロバスト性の保証が可能である。
• MNISTおよびfastMRIにおける実験から、凸双対定式化が元の非凸ネットワークと同等の再構成性能を達成することが示された。
• 本フレームワークにより、学習および推論の両方の解釈可能性が可能となり、ノイズ除去ネットワークの背後にある構造がクラスタリングとフィルタリングの組み合わせとして明らかになった。