[論文レビュー] Deep Learning for Inverse Problems: Bounds and Regularizers

Jaweria Amjad, Zhaoyan Lyu+1 more|arXiv (Cornell University)|Jan 31, 2019

Sparse and Compressive Sensing Techniques参考文献 33被引用数 5

ひとこと要約

本稿は、特に逆問題に対して、深層ニューラルネットワークの一般化誤差の新しい一般化境界を導入する。この境界は、ネットワークのヤコビ行列の特異値ノルムに基づく。計算的に効率的な正則化戦略（例えば、重み直交化やヤコビ行列直交化）を導出し、特に画像超解像と再構成タスクにおいて、標準的な重み減衰よりも性能が向上する。

ABSTRACT

Inverse problems arise in a number of domains such as medical imaging, remote sensing, and many more, relying on the use of advanced signal and image processing approaches -- such as sparsity-driven techniques -- to determine their solution. This paper instead studies the use of deep learning approaches to approximate the solution of inverse problems. In particular, the paper provides a new generalization bound, depending on key quantity associated with a deep neural network -- its Jacobian matrix -- that also leads to a number of computationally efficient regularization strategies applicable to inverse problems. The paper also tests the proposed regularization strategies in a number of inverse problems including image super-resolution ones. Our numerical results conducted on various datasets show that both fully connected and convolutional neural networks regularized using the regularization or proxy regularization strategies originating from our theory exhibit much better performance than deep networks regularized with standard approaches such as weight-decay.

研究の動機と目的

• 回帰タスク、特に逆問題における深層ニューラルネットワークの一般化誤差境界を構築すること。
• 一般化に影響を与える主要なネットワーク特性（特にヤコビ行列の特異値ノルム）を同定すること。
• 理論的境界に基づいた計算的に効率的な正則化戦略を導出し、モデル性能を向上させること。
• 画像再構成および超解像ベンチマークを用いた、提案された正則化手法の実証的検証。

提案手法

• ヤコビ行列の各層における特異値ノルムの積に依存する一般化誤差境界を導出する。
• 逆問題に特化した境界を導出し、前方演算子Fのリプシッツ定数とノイズのパワーを組み込む。
• ヤコビ行列の特異値ノルムを制御するための代理正則化項（重み直交化（WO）、ヤコビ行列直交化、SRIP）を提案。
• 低ヤコビ行列特異値ノルムが一般化と耐性に寄与することを理論的に枠組み化する。
• サンプル空間の複雑さを測るため、被覆数とメトリックエントロピーを用いる。
• 全結合および畳み込みネットワークを用いた画像超解像と再構成データセットを用いた実験により、理論の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 回帰タスク、特に逆問題における深層ニューラルネットワークの一般化誤差をどのように境界づけることができるか？
• RQ2 ヤコビ行列の特異値ノルムは、一般化誤差を制御するために果たす役割は何か？
• RQ3 一般化誤差境界に基づいて導出された正則化戦略は、逆問題において性能を向上させることができるか？
• RQ4 ヤコビ行列に基づく正則化手法は、画像再構成および超解像において、標準的な重み減衰と比較してどのように異なるか？
• RQ5 直交化に基づく正則化手法（WOやSRIP）は、モデルの一般化をどの程度向上させるか？

主な発見

• 一般化誤差境界に基づく正則化戦略（特にWOとSRIP）は、画像超解像および再構成タスクにおいて、標準的な重み減衰を著しく上回る性能を発揮する。
• WOで正則化されたネットワークは、わずかなテスト誤差およびPSNRの妥協を伴いながらも、最良の一般化誤差（GE）性能を達成する。
• すべての直交化ベース正則化手法（WO、SRIP、Parseval）は重み減衰を上回り、ヤコビ行列の特異値ノルムの制御の重要性を示している。
• 提案された一般化誤差境界は、ヤコビ行列の各層における特異値ノルムの積、入力空間の被覆数、およびノイズのパワーに依存する。
• 理論的分析により、ヤコビ行列の特異値ノルムの積を最小化することが一般化性能の向上に寄与することが確認された。
• 実証的結果から、WOおよびSRIPによる特異値ノルム正則化は、重みの特異値ノルムに対する直接制約よりも効果的であることが示された。