[論文レビュー] The Spectral Bias of the Deep Image Prior

Prithvijit Chakrabarty, Subhransu Maji|arXiv (Cornell University)|Dec 18, 2019

Image and Signal Denoising Methods参考文献 13被引用数 22

ひとこと要約

この論文は、畳み込みエンコーダ・デコーダネットワークが最適化中に周波数成分を低周波数から先に学習するというスペクトルバイアスを示し、DIPのノイズ除去成功の理由を説明している。早期停止は、一般的に高周波数であるノイズを抑制し、綺麗な画像構造を保持するローパスフィルタとして機能する。

ABSTRACT

The "deep image prior" proposed by Ulyanov et al. is an intriguing property of neural nets: a convolutional encoder-decoder network can be used as a prior for natural images. The network architecture implicitly introduces a bias; If we train the model to map white noise to a corrupted image, this bias guides the model to fit the true image before fitting the corrupted regions. This paper explores why the deep image prior helps in denoising natural images. We present a novel method to analyze trajectories generated by the deep image prior optimization and demonstrate: (i) convolution layers of the an encoder-decoder decouple the frequency components of the image, learning each at different rates (ii) the model fits lower frequencies first, making early stopping behave as a low pass filter. The experiments study an extension of Cheng et al which showed that at initialization, the deep image prior is equivalent to a stationary Gaussian process.

研究の動機と目的

• 自然画像のノイズ除去に成功するが、明示的な学習データなしに動作するDeep Image Prior (DIP) の理由を説明すること。
• DIPの成功が、ネットワークアーキテクチャに内在する周波数ベースのインダクティブバイアスに起因するかどうかを調査すること。
• 最適化軌道を周波数ドメインで分析し、周波数成分がどの順序で学習されるかを特定すること。
• 畳み込み層と全結合層の周波数学習ダイナミクスおよびノイズ除去性能を比較すること。
• アップサンプリング操作が最適化中のスペクトルバイアスおよびモデル行動に与える影響を評価すること。

提案手法

• 1次元および2次元設定におけるDIPの最適化軌道を追跡し、2つの独立した実行間の二乗誤差 (SSE) 変化を測定して収束点を特定した。
• 周波数成分（低周波対高周波）の学習過程を分析し、明確な収束速度の差を特定するためのスペクトル解析を用いた。
• DIPの畳み込み層を全結合層に置き換えることで、周波数分離が畳み込みに内在するものかどうかを検証した。
• 最近傍法と双線形補間の両方のアップサンプリング手法を評価し、周波数応答と出力の滑らかさへの影響を分析した。
• ノイズ入力を画像にマップするモデルを学習し、最適化全般にわたるPSNRを記録してノイズ除去性能を評価した。
• F-principleフレームワークを適用し、DIPが周波数成分を低周波数から先に学習することを示した。これは深層ネットワークに知られているスペクトルバイアスと整合的である。

実験結果

リサーチクエスチョン

• RQ1 最適化中にDeep Image Priorは、画像の低周波数成分を高周波数成分よりも先に学習するか？
• RQ2 畳み込み層と全結合層のスペクトルバイアスを比較すると、周波数学習順序にどのような差が生じるか？
• RQ3 アップサンプリング操作（例：ストライドサイズ）は、スペクトルバイアスおよび生成画像の滑らかさにどの程度影響を与えるか？
• RQ4 DIPのノイズ除去行動は周波数バイアスに起因するものであり、これは早期停止の有効性を説明できるか？
• RQ5 DIPが失敗する条件は何か？ その失敗は低周波数ノイズの存在と関連しているか？

主な発見

• DIPは、1次元信号において低周波数成分を45イテレーション目、高周波数成分を151イテレーション目にそれぞれ収束させる。
• 畳み込み層を全結合層に置き換えた場合、両方の周波数成分が同じ速度で学習され、低周波数再構成が現れない。これはスペクトルバイアスの喪失を示している。
• 全結合層を用いたDIPのノイズ除去性能は、標準DIP（PSNR: 27.47）と比較して顕著に劣り（PSNR: 20.54–27.58）、容量が高くても同様である。これは周波数分離の欠如に起因する。
• ReLU活性化関数を用いたReLUNetモデルは、標準DIPと同等のPSNRを達成しており、これは活性化関数に起因する周波数バイアスが畳み込みのインダクティブバイアスに代わる可能性を示唆している。
• 大きなアップサンプリングストライド（例：32）は滑らかな出力を生み出し、パワースペクトルの低周波数領域での誤差低減が、小さなストライド（例：4）よりも遅く進行する。これはより強いスペクトルバイアスを示している。
• DIPは低周波数ノイズ（例：barbara.png）を含む画像では失敗する。モデルが真の高周波数コンテンツよりもノイズを先に適合させるため、特に初期イテレーションで顕著である。これは、スペクトルバイアスが信号と周波数が一致するノイズに対しては十分でないことを確認している。