[論文レビュー] Image denoising with multi-layer perceptrons, part 1: comparison with existing algorithms and with bounds

Harold Christopher Burger, Christian J. Schuler+1 more|arXiv (Cornell University)|Nov 7, 2012

Image and Signal Denoising Methods参考文献 50被引用数 58

ひとこと要約

この論文は、大規模な訓練データを用いて、ノイズのある画像パッチから綺麗な画像パッチへのマッピングを直接学習するMLPベースのアプローチを提案している。この手法は、特に高ノイズレベルにおいてBM3D や NLSC といった最先端の手法を上回り、より大きなパッチを用いることで標準的な仮定に背くことで理論的限界を超える。また、JPEGアーティファクト や混合ポisson-ガウスノイズ といった非ガウス型ノイズに対しても良好な一般化性能を示す。

ABSTRACT

Image denoising can be described as the problem of mapping from a noisy image to a noise-free image. The best currently available denoising methods approximate this mapping with cleverly engineered algorithms. In this work we attempt to learn this mapping directly with plain multi layer perceptrons (MLP) applied to image patches. We will show that by training on large image databases we are able to outperform the current state-of-the-art image denoising methods. In addition, our method achieves results that are superior to one type of theoretical bound and goes a large way toward closing the gap with a second type of theoretical bound. Our approach is easily adapted to less extensively studied types of noise, such as mixed Poisson-Gaussian noise, JPEG artifacts, salt-and-pepper noise and noise resembling stripes, for which we achieve excellent results as well. We will show that combining a block-matching procedure with MLPs can further improve the results on certain images. In a second paper, we detail the training trade-offs and the inner mechanisms of our MLPs.

研究の動機と目的

• シンプルでエンドツーエンドのMLPが、BM3D や NLSC といった手作業で設計された最先端の画像ノイズ除去アルゴリズムを上回るかどうかを調査すること。
• 既存の手法の性能を制限する仮定を考慮した上で、MLPの性能が理論的ノイズ除去限界をどの程度上回るかを評価すること。
• ストライプノイズ、ソルトアンドペッパー ノイズ、JPEGアーティファクト、混合ポアソン-ガウスノイズ といった非加法的白色ガウスノイズ（非-AWG）タイプのノイズに対し、MLPの一般化能力を評価すること。
• ブロックマッチングをMLPと組み合わせることで、繰り返し構造を持つ画像において性能が向上するかどうかを検討すること。
• ノイズ除去品質と一般化性能に影響を与えるアーキテクチャ、パッチサイズ、トレーニングデータスケール のトレードオフを理解すること。

提案手法

• 本手法は、ノイズあり・クリアな画像パッチのペairを大量に含むデータセット上でマルチレイヤーパーセプトロン（MLP）をトレーニングし、ノイズありパッチからノイズ除去済みパッチへの直接的なマッピングを学習する。
• 画像ノイズ除去は、入力画像を重複するパッチに分割し、各パッチをトレーニング済みのMLPで独立してノイズ除去した後、元の画像を再構成することで実行される。
• GPUアクセラレートされた推論を用いることで、1枚あたり5秒未満でノイズ除去が可能であり、対応する合成データで再トレーニングすることで、さまざまなノイズモデルに適応可能である。
• 構造的画像における性能向上のため、MLPにブロックマッチング手順を統合し、画像内での自己類似性を活用することで、共同フィルタリングによるノイズ除去を強化する。
• 標準的な指標（PSNR）を用いて、多様なテスト画像とノイズレベル（特に分散が大きいガウスノイズを含む）で評価が行われる。
• クラスタリングベースの限界（Chatterjee & Milanfar, 2010）とベイジアンパッチベースの限界（Levin & Nadler, 2011）との理論的比較が行われ、パッチサイズの変化を考慮した解析が実施される。

実験結果

リサーチクエスチョン

• RQ1 シンプルで学習なしのエンドツーエンドMLPアーキテクチャが、高度に最適化されたBM3D や NLSC といった最先端のノイズ除去アルゴリズムを上回る可能性があるか？
• RQ2 MLPベースのノイズ除去がどの程度理論的限界を超えることができ、どのような条件下でその現象が生じるか？
• RQ3 JPEGアーティファクト や混合ポアソン-ガウスノイズ といった非-AWGノイズに対して、MLPの性能はどのように異なるか？
• RQ4 MLPにブロックマッチングを統合することで、繰り返し構造を持つ画像（例：『Barbara』 や 『House』）における性能が向上するか？
• RQ5 MLPベースのノイズ除去に成功する鍵となる要因（パッチサイズ、ネットワークの深さ、トレーニングデータスケール など）は何か？

主な発見

• 特定の画像ではBM3D よりも1.5 dB以上、他の画像では3 dB以上も性能を上回り、特に高ノイズレベルで顕著な向上が見られた。
• パッチクラスタ仮定に背くことで、クラスタリングベースの理論的限界を上回り、実際にはその限界がタイトでないことが示された。
• 有限のパッチサイズを想定したベイジアンパッチベースの限界をも超えており、無限パッチサイズの理論的限界に近い結果を達成した。
• 混合ポアソン-ガウスノイズ や JPEG量子化アーティファクト に対しても競争力のある性能を示し、これらの設定で既存手法を上回った。
• ブロックマッチングを統合したMLPは、『Barbara』 や 『House』 といった構造的画像で性能を向上させたが、トレーニングおよび推論時間の増加を伴った。
• BM3D に対する理論的限界の半分近くの改善に到達しており、理論的限界に向けた顕著な進歩が示された。