[論文レビュー] CNN Denoisers as Non-Local Filters: The Neural Tangent Denoiser.

Julián Tachella, Junqi Tang+1 more|arXiv (Cornell University)|Jun 3, 2020

Image and Signal Denoising Methods参考文献 17被引用数 3

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）のノイズ除去器をニューラルタングエント・カーネル（NTK）を用いて非局所フィルタとして解釈する理論的枠組み、Neural Tangent Denoiser（NTD）を提案する。この枠組みにより、学習を一切行わずに閉形式のフィルタを導出可能となる。また、Adam最適化がNTKの予測を上回る大きな重み変更を引き起こすことが判明し、これにより適応的非局所フィルタリングが可能となる。画像ノイズ除去の広範な実験により、その有効性が検証された。

ABSTRACT

Convolutional Neural Networks (CNNs) are now a well-established tool for solving computational imaging problems. Modern CNN-based algorithms obtain state-of-the-art performance in diverse image restoration problems. Furthermore, it has been recently shown that, despite being highly overparameterized, networks trained with a single corrupted image can still perform as well as fully trained networks, a phenomenon encapsulated in the deep image prior. We introduce a novel interpretation of denoising networks with no clean training data in the context of the neural tangent kernel (NTK), elucidating the strong links with well-known non-local filtering techniques, such as non-local means or BM3D. The filtering function associated with a given network architecture can be obtained in closed form without need to train the network, being fully characterized by the random initialization of the network weights. While the NTK theory accurately predicts the filter associated with networks trained using standard gradient descent, our analysis shows that it falls short to explain the behaviour of networks trained using the popular Adam optimizer. The latter achieves a larger change of weights in hidden layers, adapting the non-local filtering function during training. We evaluate our findings via extensive image denoising experiments.

研究の動機と目的

• クリアなデータなしに学習されたCNNノイズ除去器の一般化行動を理解すること、特にDeep Image Priorの文脈において。
• CNNベースのノイズ除去器と、非局所平均やBM3Dといった古典的手法の間の理論的関係を確立すること。
• NTK理論の予測と、Adam最適化で学習されたネットワークの実際の挙動との乖離を分析すること。
• 学習を一切行わず、ネットワークの重み初期化のみを用いて、CNNノイズ除去器のフィルタ関数を閉形式で導出すること。
• 提案された枠組みの実験的性能を、画像ノイズ除去ベンチマーク上で評価すること。

提案手法

• ネットワーク重みのランダム初期化のみに基づき、ニューラルタングエント・カーネル（NTK）を用いて、CNNノイズ除去器のフィルタ関数を閉形式で導出する。
• NTK理論を適用し、標準的勾配降下法で学習したノイズ除去ネットワークの出力を予測する。
• Adam最適化で学習した際のNTK予測と実際のネットワーク挙動を比較し、顕著な乖離が生じることを明らかにする。
• Adamが隠れ層においてNTKの予測を上回る大きな重み更新を引き起こすことを示し、トレーニング中に非局所フィルタ関数が動的に適応可能となることを示す。
• 標準ベンチマーク上での広範な画像ノイズ除去実験を通じて、理論枠組みの妥当性を検証する。
• NTKフレームワークを用いて、ノイズ除去プロセスを非局所フィルタリング操作として解釈し、深層学習と古典的画像処理を結びつける。

実験結果

リサーチクエスチョン

• RQ1 クリアなデータなしに学習されたCNNノイズ除去器のフィルタリング行動を、ニューラルタングエント・カーネルを用いて閉形式でどのように特徴づけられるか？
• RQ2 NTK理論は、標準的勾配降下法で学習されたノイズ除去ネットワークの挙動をどの程度正確に予測できるか？
• RQ3 なぜAdam最適化はNTK理論の予測を上回るノイズ除去性能を示すのか？
• RQ4 CNNノイズ除去器と、非局所平均やBM3Dといった古典的手法の間にはどのような関係があるか？
• RQ5 学習を一切行わず、ランダムな重み初期化のみで、ノイズ除去ネットワークのフィルタ関数を完全に特定できるか？

主な発見

• CNNノイズ除去器のフィルタ関数は、学習を一切行わず、ネットワークのランダム重み初期化のみを用いても、ニューラルタングエント・カーネルを用いて閉形式で導出可能である。
• NTK理論は、標準的勾配降下法で学習されたネットワークのフィルタリング行動を正確に予測でき、この領域における理論の有効性が裏付けられる。
• Adam最適化で学習されたネットワークは、NTK理論の予測を上回る、顕著な隠れ層内の重み更新を示し、これによりノイズ除去性能が向上している。
• Adam最適化されたネットワークはトレーニング中に非局所フィルタ関数を適応的に変化させているが、NTK理論はこれを捉えられていない。これは、NTK理論が適応的最適化を説明する上で根本的な限界を有することを示唆する。
• 提案されたNeural Tangent Denoiserフレームワークは、単一の汚れた画像で学習されたノイズ除去器の強力な一般化をうまく説明できており、非局所フィルタリング原理と結びつけることに成功した。
• 実験的結果から、理論的予測と観測された性能が一致しており、フレームワークの正確性と実用性が裏付けられた。