[論文レビュー] Noise2Kernel: Adaptive Self-Supervised Blind Denoising using a Dilated Convolutional Kernel Architecture

Kanggeun Lee, Won‐Ki Jeong|arXiv (Cornell University)|Dec 7, 2020

Image and Signal Denoising Methods被引用数 5

ひとこと要約

Noise2Kernelは、ドーナツ型の受容 field を持つ空間的に適応的な拡張畳み込みを用いた、エンド・ツー・エンドの自己教師付き学習フレームワークを提案する。このアプローチにより、塩こしょうノイズおよび融合ノイズにおいて最先端の性能を達成する。空間的に適応的な拡張畳み込みを用いることで、ネットワーク出力が元のノイズのあるピクセルに依存しなくなり、教師付きデータやノイズモデルの知識が不要な堅牢なデノイジングを実現する。

ABSTRACT

With the advent of recent advances in unsupervised learning, efficient training of a deep network for image denoising without pairs of noisy and clean images has become feasible. However, most current unsupervised denoising methods are built on the assumption of zero-mean noise under the signal-independent condition. This assumption causes blind denoising techniques to suffer brightness shifting problems on images that are greatly corrupted by extreme noise such as salt-and-pepper noise. Moreover, most blind denoising methods require a random masking scheme for training to ensure the invariance of the denoising process. In this paper, we propose a dilated convolutional network that satisfies an invariant property, allowing efficient kernel-based training without random masking. We also propose an adaptive self-supervision loss to circumvent the requirement of zero-mean constraint, which is specifically effective in removing salt-and-pepper or hybrid noise where a prior knowledge of noise statistics is not readily available. We demonstrate the efficacy of the proposed method by comparing it with state-of-the-art denoising methods using various examples.

研究の動機と目的

• 推論時にノイズの種別やパラメータが不明な状況におけるブラインドデノイジングの課題に対処すること。
• ペaired clean-noisyデータを必要としない自己教師付き学習フレームワークの開発。
• 元のノイズのあるピクセルに不変となるニューラルアーキテクチャの設計により、任意のノイズモデル下でも堅牢なデノイジングを実現すること。
• 塩こしょうノイズや融合ノイズのような複雑で現実的であるノイズパターンにおいて、最先端の性能を達成すること。
• 明示的なノイズモデリングや教師信号なしに、多様なノイズタイプに一般化できることの実証。

提案手法

• 受容 field の拡張を制御するためのアダプティブな拡張率を持つ拡張畳み込みカーネルアーキテクチャを提案する。
• 中央ピクセルを除外するドーナツ型の畳み込み層を用い、ネットワーク出力が元のノイズのあるピクセルに依存しないようにする。
• 増加する拡張率を持つ複数のスタックされた拡張畳み込み層を適用し、段階的に受容 field を拡大する。
• d ≥ ⌈K/2⌉ のとき、元のピクセルの情報が最終出力に到達しないことを理論的に証明することで、ネットワークの不変性を形式化する。
• 清浄な教師信号なしに、ノイズ画像のみを用いて自己教師付きの対照的学習でネットワークをエンド・ツー・エンドに訓練する。
• 中央ピクセルをマスキングし、周囲のコンテキストからそれを予測することで、ネットワークがクリーンな特徴を再構築できる能力を活用する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きニューラルネットワークは、ノイズモデルの事前知識なしに、堅牢なブラインドデノイジングを達成できるか？
• RQ2 畳み込みネットワークの受容 field を、元のノイズのあるピクセルを除外しながらもコンテキスト情報を保持できるように設計するにはどうすればよいか？
• RQ3 多層構造の拡張畳み込みニューラルアーキテクチャにおいて、元のピクセルに不変であることを保証する最小の拡張率は何か？
• RQ4 N2V や N2S といった既存の自己教師付き手法と比較して、本手法は融合ノイズのような複雑なノイズタイプにおいてどう評価されるか？
• RQ5 アダプティブな拡張率は、現実の画像における多様で未知のノイズパターンへの一般化を向上させられるか？

主な発見

• 理論的証明により、d ≥ ⌈K/2⌉ のとき、元のノイズのあるピクセルの情報は最終出力に到達しないため、不変性が保証される。
• 塩こしょうノイズにおいて、Noise2KernelはN2VおよびN2Sを上回り、視覚的および定量的評価で優れた結果を示した。
• 融合ノイズ（ガウスノイズ + 塩こしょうノイズ）において、σg = 50 および σs = 25 の条件下で、定性的な比較により最先端の性能を達成した。
• 再トレーニングやノイズパラメータ推定を必要とせず、未知のノイズタイプに対しても良好な一般化性能を示した。
• 定性的な結果から、Noise2Kernelはベースライン手法と比較して、よりシャープなテクスチャと少ないアーティファクトを生成することが確認された。
• アーキテクチャの設計により、元のノイズのあるピクセルからの情報漏洩が効果的に防止され、堅牢な自己教師付き学習が可能になった。