[論文レビュー] Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation

Reinhard Heckel, Mahdi Soltanolkotabi|arXiv (Cornell University)|May 7, 2020

Sparse and Compressive Sensing Techniques被引用数 27

ひとこと要約

この論文は、圧縮測定値上で勾配降下法を最適化することで、正則化や学習データを明示的に用いずに、未学習の畳み込みニューラルネットワークが構造的信号を自然に回復できることを示している。主な貢献は、勾配降下法が測定値と整合する最も滑らかな解に収束することを理論的に証明したことである。これにより、ネットワークのアーキテクチャと最適化ダイナミクスのみを用いて、最小限のランダム測定値からも正確な再構成が可能になる。

ABSTRACT

Un-trained convolutional neural networks have emerged as highly successful tools for image recovery and restoration. They are capable of solving standard inverse problems such as denoising and compressive sensing with excellent results by simply fitting a neural network model to measurements from a single image or signal without the need for any additional training data. For some applications, this critically requires additional regularization in the form of early stopping the optimization. For signal recovery from a few measurements, however, un-trained convolutional networks have an intriguing self-regularizing property: Even though the network can perfectly fit any image, the network recovers a natural image from few measurements when trained with gradient descent until convergence. In this paper, we provide numerical evidence for this property and study it theoretically. We show that---without any further regularization---an un-trained convolutional neural network can approximately reconstruct signals and images that are sufficiently structured, from a near minimal number of random measurements.

研究の動機と目的

• 未学習の畳み込みニューラルネットワークが、明示的な正則化なしに、少数のランダム測定値から信号を再構成できる理由を理論的に説明すること。
• 過パラメータ化された未学習ネットワークにおける勾配降下法の自己正則化挙動を理解すること。
• 信号の複雑さに比例する最小数の測定値で再構成が可能となる条件を確立すること。
• 勾配降下法がノイズや複雑なパターンではなく、滑らかで構造的な解を暗黙的に好むメカニズムを形式化すること。

提案手法

• 固定された畳み込みフィルタとランダム初期化を持つ、未学習の生成器 G: ℝ^N → ℝ^n としてディープデコーダアーキテクチャを用いる。
• 損失関数 L(C) = ½||A G(C) - y||₂² を最小化するために勾配降下法を適用し、y = A x* は圧縮測定値である。
• 生成器のヤコビ行列 J_G を分析し、その特異値分解を用いて解空間を特徴付ける。
• 信号成分と残差ノイズ成分に解を分解することで、再構成誤差の上限を導出する。
• ヤコビ行列の摂動解析を用いて、信号が低周波数部分空間にある場合に勾配降下法が真の信号に近い解に収束することを示す。
• ネットワークのインダクティブバイアスと最適化ダイナミクスのおかげで、最終的な解が概ね滑らかな妥当な解であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 なぜ未学習のCNNにおける勾配降下法は、早期停止や明示的な正則化なしに、少数の圧縮測定値から自然画像を回復できるのか？
• RQ2 ネットワークアーキテクチャと最適化軌道が解の暗黙的正則化に果たす役割は何か？
• RQ3 正確な再構成に十分な測定値の数はどれくらいで、これは信号構造にどのようにスケーリングされるか？
• RQ4 なぜ再構成信号が滑らかであり、これは生成器ヤコビ行列の特異値分布とどのように関係するか？
• RQ5 解は測定値と整合する最も滑らかな近似として特徴付けられるか？

主な発見

• 未学習のディープデコーダにおける勾配降下法は、圧縮測定値と整合する最も滑らかな信号に近い解に収束する。
• 再構成誤差は ξ||x*||₂ で有界であり、ξ はネットワークのヤコビ行列の性質と測定ノイズに依存するため、安定した回復が可能である。
• この手法は m ≈ O(n) の測定値で正確な再構成を達成するが、信号構造のおかげで有効次元ははるかに小さい。
• 測定ノイズに対して頑健であり、ノイズ除去やインpaintingとは異なり、早期停止を必要としない。
• 理論的解析により、最適化プロセスが信号の低周波数成分、滑らかな成分を暗黙的に好むことが確認された。
• 再構成誤差の上限は、生成器ヤコビ行列のスペクトル特性 β と α を用いて O(β³/α⁴) 倍の摂動サイズに比例する。