[論文レビュー] Deep Decoder: Concise Image Representations from Untrained Non-convolutional Networks

Reinhard Heckel, Paul Hand|arXiv (Cornell University)|Oct 2, 2018

Image and Signal Denoising Methods参考文献 25被引用数 142

ひとこと要約

本論文は、深層デコーダを紹介する。少数の重みから自然画像を生成する過度にパラメータの少ない、未訓練の非畳み込みネットワークであり、訓練なしで要約的表現を可能にし、ノイズ除去・超解像・インペインティングで競争力のある性能を発揮する。

ABSTRACT

Deep neural networks, in particular convolutional neural networks, have become highly effective tools for compressing images and solving inverse problems including denoising, inpainting, and reconstruction from few and noisy measurements. This success can be attributed in part to their ability to represent and generate natural images well. Contrary to classical tools such as wavelets, image-generating deep neural networks have a large number of parameters---typically a multiple of their output dimension---and need to be trained on large datasets. In this paper, we propose an untrained simple image model, called the deep decoder, which is a deep neural network that can generate natural images from very few weight parameters. The deep decoder has a simple architecture with no convolutions and fewer weight parameters than the output dimensionality. This underparameterization enables the deep decoder to compress images into a concise set of network weights, which we show is on par with wavelet-based thresholding. Further, underparameterization provides a barrier to overfitting, allowing the deep decoder to have state-of-the-art performance for denoising. The deep decoder is simple in the sense that each layer has an identical structure that consists of only one upsampling unit, pixel-wise linear combination of channels, ReLU activation, and channelwise normalization. This simplicity makes the network amenable to theoretical analysis, and it sheds light on the aspects of neural networks that enable them to form effective signal representations.

研究の動機と目的

• 少数のパラメータで自然画像を表現する過少パラメータの画像モデルを導入する。
• 畳み込みを用いないシンプルで未訓練のネットワークアーキテクチャを提案し、高品質な画像を生成できる。
• 逆問題（ノイズ除去、超解像、インペインティング）の正則化項/構造事前として深層デコーダを実証する。
• 過少パラメータ化が過剰適合を回避する理由と、アップサンプリングが局所性を生み出す仕組みについて理論的洞察を提供する。

提案手法

• 固定のランダム入力 B0 を d 層を通して画像へ写像する深層デコーダ G を定義し、パラメータ C = {Ci} がチャネル毎の線形結合 (Ci)、アップサンプリング (Ui)、ReLU (−)、チャネル正規化 (cn) を制御する。
• 従来の畳み込みを用いずアップサンプリングで空間的結合を導入する。最終出力は x = sigmoid(Bd Cd)。
• 与えられたフォワードモデル f と観測 y に対して L(C) = ||f(G(C)) − y||2 を最小化することでネットワーク重み C のみを訓練する。Adam または勾配降下法を使用。
• 過少パラメータ化 (N ≪ n、n は画像サイズ) が画像の要約表現を可能にし、ノイズの適合を制限することを示す。
• 圧縮のためのウェーブレット閾値処理と比較する。d = 6、k = 64 または 128 の場合、N ≈ 25k–100k、画像サイズ 512×512×3 に対して。

実験結果

リサーチクエスチョン

• RQ1 過少パラメータ化が未訓練・非畳み込みネットワークを圧縮のための有効な画像モデルとして機能させることができるのか。
• RQ2 深層デコーダは訓練なしでノイズ除去・超解像・インペインティングのような逆問題でどのような性能を示すか。
• RQ3 効果を左右するアーキテクチャの選択（アップサンプリング、1×1 チャネル混合、正規化）は何か。
• RQ4 深層デコーダがノイズ適合を抑制する理由は何で、それがノイズ除去能力とどう関連するか。
• RQ5 訓練済みモデルや訓練なし設定の Deep Image Prior (DIP) と比較してどうか。

主な発見

• 深層デコーダは、出力サイズのごく一部のパラメータ数で自然画像を圧縮でき、ウェーブレット閾値処理と同等の性能を発揮する。
• 未訓練・過少パラメータのモデルとして、トレーニングデータを必要とせず、早期停止などの重い正則化を用いずに強力なノイズ除去性能を提供する。
• 1×1畳み込みと比較して、選択されたアップサンプリングベースのアーキテクチャは要約表現を生み、ノイズ除去・超解像・インペインティングの逆問題における有効な反転を可能にする。
• 理論分析は、モデルがノイズのごく一部のみを適合させられることを示し、経験的な結果を超えるノイズ除去能力を説明する。
• 経験的比較は、未訓練法（DIP を含む）と競争力のあるノイズ除去性能を示し、特定の設定で BM3D に対して有利な結果を示すと同時に、超解像とインペインティングの結果も競争力があることを支持する。