[論文レビュー] Real-world Noisy Image Denoising: A New Benchmark

Jun Xu, Hui Li+3 more|arXiv (Cornell University)|Apr 7, 2018

Image and Signal Denoising Methods参考文献 24被引用数 174

ひとこと要約

本研究では、複数のカメラと設定で撮影された大規模な実世界ノイズ画像デノイジングベンチマークを紹介し、既存手法を評価し、実世界のノイズがAWGNと異なることを示し、新手法がロバスト性を提供することを示しています。

ABSTRACT

Most of previous image denoising methods focus on additive white Gaussian noise (AWGN). However,the real-world noisy image denoising problem with the advancing of the computer vision techiniques. In order to promote the study on this problem while implementing the concurrent real-world image denoising datasets, we construct a new benchmark dataset which contains comprehensive real-world noisy images of different natural scenes. These images are captured by different cameras under different camera settings. We evaluate the different denoising methods on our new dataset as well as previous datasets. Extensive experimental results demonstrate that the recently proposed methods designed specifically for realistic noise removal based on sparse or low rank theories achieve better denoising performance and are more robust than other competing methods, and the newly proposed dataset is more challenging. The constructed dataset of real photographs is publicly available at \url{https://github.com/csjunxu/PolyUDataset} for researchers to investigate new real-world image denoising methods. We will add more analysis on the noise statistics in the real photographs of our new dataset in the next version of this article.

研究の動機と目的

• 合成AWGNデノイジングのベンチマークを超えた実世界ノイズ除去の動機づけ。
• 対応するグラウンドトゥルース画像を持つ、規模が大きく多様な実世界ノイズ画像データセットを作成する。
• 実世界データ上で既存のデノイジング手法を評価し、カメラやISO設定全体でのロバスト性を分析する。

提案手法

• 実世界のノイズをモデル化するため、複数のカメラと設定でシーンごとに500枚の画像をキャプチャする。
• 非ずれ（non-misaligned）かつ輝度が一貫するフレームをシーンごとに平均化してグラウンドトゥルースを生成する。
• 大きな画像から実用的なデノイジング評価のために512×512パッチを抽出する。
• AWGN中心、グレーチャンネル、識別的、実世界適合アプローチを含む幅広いデノイジング手法を評価する。
• データセット間でPSNRとSSIMを用いて性能を比較し、ISOとカラーチャンネル別にノイズ統計を分析する。

実験結果

リサーチクエスチョン

• RQ1 AWGN向けに設計された手法を含む既存のデノイジング手法は、さまざまなカメラと設定で実世界のノイズ画像にどれほど適用できるか。
• RQ2 Guided、MCWNNM、TWSCなどの実世界ノイズ向け手法は、このベンチマークで従来のAWGNデノイジング手法より優れているだろうか。
• RQ3 実世界データにおいてISO、カメラブランド、シーン内容によってデノイジング性能はどのように変化するか。
• RQ4 ISOの変化に伴うRGBチャネル別の実世界ノイズ統計はどのようなものか。

主な発見

• 実世界のノイズはAWGNで適切にモデル化されていない。実世界ノイズ向けに設計された手法は、AWGN中心のベースラインより優れている。
• クロスチャンネル手法（RGBチャネルを一緒に処理する）は、チャネル単独のグレースケール手法より一般に良い結果をもたらす。
• ペアデータで学習した識別的手法は、ノイズ統計が訓練データと異なる場合、一般化性能が限定的である。
• 最近の実世界向け適合手法（Guided、MCWNNM、TWSC）は一部データセットで高い性能を発揮するが、新たに提案されたベンチマークではマージンが小さく、データセットの難易度が高いことを示している。
• 提案データセットはより包括的で挑戦的であり、新しい実世界デノイジング手法の必要性を浮き彫りにしている。