[論文レビュー] Denoising and Regularization via Exploiting the Structural Bias of Convolutional Generators

Reinhard Heckel, Mahdi Soltanolkotabi|arXiv (Cornell University)|Oct 31, 2019

Image and Signal Denoising Methods参考文献 42被引用数 56

ひとこと要約

過剰パラメータ化された畳み込みジェネレータが固定カーネルを持つ場合、早期停止で訓練されたとき、低周波数の自然画像構造をノイズよりも速く適合させる傾向があるため、逆問題をノイズ除去し正則化できることを示す。

ABSTRACT

Convolutional Neural Networks (CNNs) have emerged as highly successful tools for image generation, recovery, and restoration. A major contributing factor to this success is that convolutional networks impose strong prior assumptions about natural images. A surprising experiment that highlights this architectural bias towards natural images is that one can remove noise and corruptions from a natural image without using any training data, by simply fitting (via gradient descent) a randomly initialized, over-parameterized convolutional generator to the corrupted image. While this over-parameterized network can fit the corrupted image perfectly, surprisingly after a few iterations of gradient descent it generates an almost uncorrupted image. This intriguing phenomenon enables state-of-the-art CNN-based denoising and regularization of other inverse problems. In this paper, we attribute this effect to a particular architectural choice of convolutional networks, namely convolutions with fixed interpolating filters. We then formally characterize the dynamics of fitting a two-layer convolutional generator to a noisy signal and prove that early-stopped gradient descent denoises/regularizes. Our proof relies on showing that convolutional generators fit the structured part of an image significantly faster than the corrupted portion.

研究の動機と目的

• 訓練なしの畳み込みジェネレータがデノイズと正則化のための強力な画像事前分布として機能する理由を動機づけ、理解する。
• ノイズ信号に二層の畳み込みジェネレータを適合させる場合の勾配降下のダイナミクスを特徴づける。
• 固定補間カーネルが自然画像構造の適合をノイズよりも速め、早期停止デノイズを効果的に可能にすることを示す。
• 現実的な信号モデルの下でほぼ最適なデノイジング速度を示す理論的保証を提供する。」],
• method:[
• Analyze an over-parameterized two-layer convolutional generator G(C) = ReLU(UC)v with fixed kernel U and learnable C.
• Model the denoising problem as y = x + z where x lies in the span of the first p trigonometric basis functions and z is Gaussian noise.
• Derive the gradient-descent dynamics for C under the nonlinear least-squares loss L(C) = 1/2||y - G(C)||^2 and relate it to a linearized Jacobian around initialization.
• Show that the left singular vectors of the Jacobian approximate trigonometric basis functions and that the associated singular values (dual kernel) favor low-frequency components.
• Prove denoising bounds and reconstruction dynamics under early stopping, leveraging the decay of weights tied to frequency components.
• Extend insights to multi-layer, moderately over-parameterized networks and discuss empirical consistency with theory.

実験結果

リサーチクエスチョン

• RQ1 固定畳み込みカーネルは、勾配降下が自然画像構造をノイズよりもどの程度速く学習するかにどのような影響を与えるか？
• RQ2 早期停止は、過剰パラメータ化された二層畳み込みジェネレータに対して証明可能なデノイジングと正則化保証を提供できるか？
• RQ3 ジャコビアンのスペクトルにおける低周波成分がデノイジングのダイナミクスを推進する役割は何か？
• RQ4 理論的知見はより深いまたは中程度に過剰パラメータ化されたネットワークにも拡張されるか、どのような条件下でか？
• RQ5 異なる補間カーネル（例：三角形 vs ガウス）がデノイジング性能にデュアルカーネルを介してどのように影響するか？

主な発見

• 固定補間カーネルを持つ畳み込みは、勾配降下中に自然画像をノイズよりはるかに速く適合させる。
• 早期停止は、低周波成分数でスケールされたノイズ分散に比例する最適な速度に近いデノイジングを達成する（定数まで）。
• ダイナミクスはジャコビアンのスペクトルに支配され、その導関数はネットワークアーキテクチャによって決まり、学習済みフィルタではなく低周波の三角基底関数と整合する。
• 十分なチャネルと適切な停止時を備えた二層畳み込みジェネレータは、示された信号モデルでほぼ最適なデノイジング境界を達成する。
• 多層ネットワークは、トレーニング中にジャコビアンのリーディング特異ベクトルが低周波成分に近いままであることを示し、最も単純なモデルを超えた理論的洞察を裏付ける。
• 実証結果は、訓練データなしでデノイジングタスクにおいて、早期停止付きの固定カーネルジェネレータが BM3D などのベースラインよりも優れていることを示す。