[論文レビュー] A Bayesian Perspective on the Deep Image Prior

Zezhou Cheng, Matheus Gadelha+2 more|arXiv (Cornell University)|Apr 16, 2019

Image and Signal Denoising Methods参考文献 13被引用数 8

ひとこと要約

本稿は、ネットワーク幅が無限大に近づく極限において、ランダムな重みと定常入力をもつ畳み込みニューラルネットワークが、学習可能なカーネルをもつガウス過程に収束することを示すことにより、Deep Image Prior (DIP) にベイズ的解釈を提供する。著者らは、事後分布推論に確率的勾配ランジュヴィンダイナミクス（SGLD）を用いることで、アンチエイジング（早期停止）の必要性を排除し、不確実性の定量化を伴う画像のノイズ除去および穴埋めタスクにおける性能向上を実現する。

ABSTRACT

The deep image prior was recently introduced as a prior for natural images. It represents images as the output of a convolutional network with random inputs. For "inference", gradient descent is performed to adjust network parameters to make the output match observations. This approach yields good performance on a range of image reconstruction tasks. We show that the deep image prior is asymptotically equivalent to a stationary Gaussian process prior in the limit as the number of channels in each layer of the network goes to infinity, and derive the corresponding kernel. This informs a Bayesian approach to inference. We show that by conducting posterior inference using stochastic gradient Langevin we avoid the need for early stopping, which is a drawback of the current approach, and improve results for denoising and impainting tasks. We illustrate these intuitions on a number of 1D and 2D signal reconstruction tasks.

研究の動機と目的

• ネットワーク幅を無限大に近づける際の漸近的挙動を分析することで、Deep Image Prior (DIP) に理論的ベイズ的基盤を提供すること。
• 定常入力に対して、ランダムな重みをもつ深層畳み込みネットワークが誘導するカーネル関数の明示的表現を導出することにより、空間的共分散構造を特徴づけること。
• DIPにおける過学習リスクを軽減するため、ヒューリスティックな早期停止を、整合的なベイズ的事後分布推論に置き換えること。
• 確率的勾配ランジュヴィンダイナミクス（SGLD）を用いた事後分布サンプリングにより、ノイズ除去および穴埋めタスクにおける画像再構成性能を向上させること。
• 事後分布サンプルからの分散推定により、画像再構成における不確実性の定量化を可能とすること。

提案手法

• 連続写像定理および大数の強法則を用いて、ランダムな重みと定常入力をもつ深層畳み込みネットワークが、無限大の幅の極限で定常ガウス過程に収束することを証明する。
• ネットワークの深さ、フィルターサイズ、活性化関数（例：ReLU、erf）および入力の相関構造を関数として、カーネルの解析的表現を導出する。
• 極限におけるガウス過程を事前分布として用い、確率的勾配ランジュヴィンダイナミクス（SGLD）による完全な事後分布サンプリングを可能とする。
• SGLDに基づく事後分布サンプリングを実装し、DIP最適化における過学習を回避するとともに、早期停止の必要性を排除する。
• 事後分布サンプル間の分散を計算することで、再構成画像における不確実性を推定し、ヒートマップとして可視化する。
• 1次元および2次元信号再構成タスク（画像のノイズ除去および穴埋めを含む）において、SGLDと標準的なSGDによる早期停止を比較して、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 チャネル数が無限大に近づく際、ランダムな重みと定常入力をもつ深層畳み込みネットワークの漸近的分布は何か？
• RQ2 この極限において、ネットワーク構造および活性化関数が誘導するカーネルの明示的表現は何か？
• RQ3 SGLDによるベイズ推論は、早期停止を伴う標準的なDIP最適化を上回る画像再構成性能を達成できるか？
• RQ4 SGLDによる事後分布サンプリングは、分散マップなど、意味のある不確実性推定を画像再構成に提供できるか？
• RQ5 スキップ接続や深さなどのアーキテクチャ的選択は、誘導されるカーネルおよび再構成性能にどのように影響を与えるか？

主な発見

• Deep Image Priorは、漸近的に、ネットワーク構造および活性化関数から解析的に導出されたカーネルをもつ定常ガウス過程と等価である。
• 導出されたカーネルは、畳み込み、非線形性、プーリング、スキップ接続が誘導する空間的共分散構造を捉えており、整合的な事前分布設計を可能にする。
• SGLDに基づく事後分布推論により、アンチエイジング（早期停止）の必要性がなくなり、事後分布からのサンプリングによって自然に過学習が回避される。
• 画像のノイズ除去において、SGLDはノイズレベル（σ²）に近い最終的なMSEを達成するが、標準的なSGDに早期停止を組み合わせた手法は過学習を起こし、MSEが0に近づく。
• 画像の穴埋めにおいて、SGLDはベースライン手法よりも高いPSNR（例：32.95 vs. 30.78）を達成し、均一な領域で分散が小さい意味のある不確実性マップを生成する。
• 事後分布サンプルからの分散推定は、均一な領域（例：空、壁）では低い不確実性、物体の境界付近では高い不確実性を示し、直感的な期待と整合的である。