[論文レビュー] Noise2Sim - Similarity-based Self-Learning for Image Denoising.

Chuang Niu, Ge Wang|arXiv (Cornell University)|Nov 6, 2020

Image and Signal Denoising Methods参考文献 26被引用数 10

ひとこと要約

Noise2Sim は、非局所平均（NLM）にインspiredされた自己教師付き画像ノイズ除去手法であり、ペアのクリア-ノイズ画像データを必要とせず、画像内の自己類似性を活用してノイズ除去を学習する。自己類似性に基づく自己学習フレームワークで訓練され、ベンチマークデータセットにおいて Noise2Noise や Noise2Void より優れた性能を発揮する。これは、パッチ単位の対称性を活用した自己一貫性のあるノイズ除去により実現される。

ABSTRACT

The key idea behind denoising methods is to perform a mean/averaging operation, either locally or non-locally. An observation on classic denoising methods is that non-local mean (NLM) outcomes are typically superior to locally denoised results. Despite achieving the best performance in image denoising, the supervised deep denoising methods require paired noise-clean data which are often unavailable. To address this challenge, Noise2Noise methods are based on the fact that paired noise-clean images can be replaced by paired noise-noise images which are easier to collect. However, in many scenarios the collection of paired noise-noise images are still impractical. To bypass labeled images, Noise2Void methods predict masked pixels from their surroundings in a single noisy image only. It is pitiful that neither Noise2Noise nor Noise2Void methods utilize self-similarities in an image as NLM methods do, while self-similarities/symmetries play a critical role in modern sciences. Here we propose Noise2Sim, an NLM-inspired self-learning method for image denoising. Specifically, Noise2Sim leverages self-similarities of image patches and learns to map between the center pixels of similar patches for self-consistent image denoising. Our statistical analysis shows that Noise2Sim tends to be equivalent to Noise2Noise under mild conditions. To accelerate the process of finding similar image patches, we design an efficient two-step procedure to provide data for Noise2Sim training, which can be iteratively conducted if needed. Extensive experiments demonstrate the superiority of Noise2Sim over Noise2Noise and Noise2Void on common benchmark datasets.

研究の動機と目的

• 教師あり深層ノイズ除去手法がペアのノイズ-クリア画像データを必要とするという制限に対処する。このようなデータはしばしば入手不可能である。
• 現実世界のシナリオではノイズ-ノイズ画像ペアを収集することが現実的でないことを克服する。
• 自然画像に内在する自己類似性を活用し、ラベル付きデータを一切使用せずに自己教師付きノイズ除去を可能にする。
• Noise2Noise や Noise2Void といった既存の自己教師付き手法を改善するため、NLMにインspiredされたパッチ類似性学習を取り入れる。
• モデルトレーニング中に画像パッチの類似性検索を高速化するための効率的なトレーニング手順を開発する。

提案手法

• 同じ画像内の類似パッチを用いて、ノイズのある画像パッチの中心画素をその復元版にマップする自己学習フレームワークを提案する。
• 効率的な類似パッチの特定のための二段階手順を採用する：第一に、高速な埋め込みを用いた類似度の近似を行う。第二に、より正確な類似度測定で精錬する。
• 類似パッチの周囲の画素に基づいて、中心画素の復元値を予測するためのニューラルネットワークを訓練し、自己一貫性を強制する。
• 類似パッチ近傍における予測値と実際の中心画素の再構成誤差を最小化する学習目的関数を定式化する。
• 複数のトレーニングサイクルにわたり、モデルと類似性検索プロセスを段階的に改善することで、ノイズ除去性能を向上させる。
• 単一のノイズ画像に依存するため、クリア画像やペアデータの一切を必要としない点で、自己教師付きの性質を保つ。

実験結果

リサーチクエスチョン

• RQ1 単一のノイズ画像における自己類似性を、ペアデータが一切ない状況でも効果的に活用してノイズ除去モデルを学習できるか？
• RQ2 パッチの自己類似性に基づく自己教師付きノイズ除去手法の性能は、Noise2Noise や Noise2Void と比べてどうか？
• RQ3 どのような条件下で、提案手法 Noise2Sim が Noise2Noise と統計的に同等となるか？
• RQ4 二段階の類似性検索手順は、高いノイズ除去精度を維持しつつ、トレーニングを顕著に高速化できるか？
• RQ5 類似性検索とモデル予測の反復的精錬は、全体的なノイズ除去性能を向上させるか？

主な発見

• Noise2Sim は、標準ベンチマークデータセットにおいて、Noise2Noise や Noise2Void よりも優れたノイズ除去性能を発揮し、自己教師付き画像ノイズ除去分野で最先端の結果を達成した。
• やや緩い条件下では、Noise2Sim は Noise2Noise と統計的に同等であることが確認され、理論的基盤の妥当性が裏付けられた。
• 二段階の類似性検索手順により、計算オーバーヘッドを低減しつつも高い精度を維持でき、効率的なトレーニングが可能になった。
• モデルと類似性マッチングの反復的精錬により、ノイズ除去品質が向上し、自己教師学習におけるフィードバックループの利点が示された。
• 自己類似パッチの使用により、外部のラベル付きデータに依存せず、強固で文脈に適応したノイズ除去パターンを学習可能となった。
• 広範な実験により、Noise2Sim が画像の対称性を効果的に活用し、低信号環境下でも高品質な復元出力を得られることを確認した。