[論文レビュー] A Brief Review of Real-World Color Image Denoising

Zhaoming Kong, Xiaowei Yang|arXiv (Cornell University)|Sep 10, 2018

Image and Signal Denoising Methods参考文献 9被引用数 4

ひとこと要約

本稿は、非局所的類似性と変換ドメイン技術の組み合わせに注目した、実世界のカラー画像ノイズ除去手法のレビューである。自然な屋外風景を含む新しいデータセットを導入し、CBM3DおよびMS-TSVDが最先端の性能を達成していることを示している。提案されたリサイズ・アフターノイズ除去戦略により、視覚的な滑らかさが著しく向上するが、一部のディテール損失を伴う。

ABSTRACT

Filtering real-world color images is challenging due to the complexity of noise that can not be formulated as a certain distribution. However, the rapid development of camera lens pos- es greater demands on image denoising in terms of both efficiency and effectiveness. Currently, the most widely accepted framework employs the combination of transform domain techniques and nonlocal similarity characteristics of natural images. Based on this framework, many competitive methods model the correlation of R, G, B channels with pre-defined or adaptively learned transforms. In this chapter, a brief review of related methods and publicly available datasets is presented, moreover, a new dataset that includes more natural outdoor scenes is introduced. Extensive experiments are performed and discussion on visual effect enhancement is included.

研究の動機と目的

• 非局所的類似性と変換ドメイン技術に基づく、既存の実世界のカラー画像ノイズ除去手法について包括的なレビューを行うこと。
• 既存のデータセットが屋内シーンに偏っているという限界を是正するため、多様な自然な屋外風景を含む新しいデータセットを導入すること。
• 特に大規模な屋外画像において、最先端のノイズ除去手法の有効性と効率性を現実的な条件下で評価すること。
• 画像のリサイズと高度なフィルタリングを組み合わせた実用的戦略が、均一でノイジーな領域における視覚的品質をどのように向上させるかを調査すること。
• 商業ソフトウェア（Neat Image）とオープンソース手法を比較し、アーチファクトの抑制とディテール保持のトレードオフを分析すること。

提案手法

• 非局所的かつ変換ドメインフレームワークを採用し、3段階の手順（類似パッチのグループ化、変換ドメインにおける共同フィルタリング、集約）を実施する。
• DCT、PCA、SVD、テンソルベースの4DHOSVD、ウィーナーフィルタリングなどの事前定義または学習された変換を用い、画像パッチをスパースに表現する。
• 彩度・輝度（CBM3D）や Hue-Saturation-Value などのチャネル間相関を活用するための色固有のモデリングを実施する。
• 新規のリサイズ・アフターノイズ除去戦略を提案：ノイジーな画像をMS-TSVDでノイズ除去する前にダウンサンプリングし、その後バイキュービック補間でアップサンプリングすることで滑らかさを向上させる。
• 同じシーンを複数回撮影した画像の平均化により、クリーンな参照データを模擬した真値画像を生成する。
• PSNRとSSIMを用いて、複数のデータセット（特に高解像度の新規導入屋外風景データセットを含む）で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 先行するデータセットに含まれない大規模で自然な屋外風景において、既存の実世界のカラー画像ノイズ除去手法はどの程度の性能を示すか？
• RQ2 CBM3D や MS-TSVD といった最先端手法と、Neat Image といった商業ソフトウェアとの間で、視覚的および定量的トレードオフは何か？
• RQ3 リサイズ・アフターノイズ除去戦略は、ディテールの著しい劣化を伴わずに、均一領域における視覚的滑らかさを向上させることができるか？
• RQ4 DCT や SVD、テンソルベースの手法などの異なる変換技術は、実世界の画像に見られる複雑な信号依存性ノイズをどのように処理するか？
• RQ5 変動する照明条件を伴う挑戦的な屋外風景において、グループ化およびフィルタリング戦略の選択が性能にどの程度影響を与えるか？

主な発見

• CBM3D は、特に大規模で高解像度の屋外画像において、PSNR および SSIM の両面で他の手法を常に上回っている。
• 提案されたリサイズ・アフターノイズ除去戦略により、DND や RENOIR データセットにおける視覚的比較で、均一領域における過剰な滑らかさや色アーチファクトが顕著に低減された。
• Neat Image は、大多数のオープンソース手法よりも視覚的に滑らかな結果を生成するが、ディテール損失を伴うため、滑らかさと忠実度のトレードオフが顕在化している。
• MS-TSVD は優れた性能を示すが、非常にノイジーで均一な領域ではアーチファクトが生じやすく、リサイズ戦略によりこれを緩和できる。
• 新規の屋外データセットは、既存の手法（包括的に最先端の手法を含む）が屋内環境よりも複雑な照明やテクスチャの変動に対してより困難に反応することを明らかにした。
• MS-TSVDにおける低ランク近似とスパースコーディングの組み合わせは有望であるが、最適な結果を得るためにはランクパラメータの慎重なチューニングが必要である。