[論文レビュー] Learning Raw Image Denoising with Bayer Pattern Unification and Bayer Preserving Augmentation

Jiaming Liu, Chi-Hao Wu+9 more|arXiv (Cornell University)|Apr 29, 2019

Image and Signal Denoising Methods参考文献 30被引用数 5

ひとこと要約

本論文では、深層学習に基づくロウ画像ノイズ除去のための新しいデータ前処理および増強技術、BayerUnify と BayerAug を提案する。多様なベイヤー配列を単一の標準に統合し、幾何的に整合性のある増強を可能にすることで、異種のデータセットにわたる一貫したモデルを学習し、NTIRE 2019 リアル画像ノイズ除去チャレンジで 52.11 dB の PSNR および 0.9969 の SSIM を達成し、最先端の性能を実現した。

ABSTRACT

In this paper, we present new data pre-processing and augmentation techniques for DNN-based raw image denoising. Compared with traditional RGB image denoising, performing this task on direct camera sensor readings presents new challenges such as how to effectively handle various Bayer patterns from different data sources, and subsequently how to perform valid data augmentation with raw images. To address the first problem, we propose a Bayer pattern unification (BayerUnify) method to unify different Bayer patterns. This allows us to fully utilize a heterogeneous dataset to train a single denoising model instead of training one model for each pattern. Furthermore, while it is essential to augment the dataset to improve model generalization and performance, we discovered that it is error-prone to modify raw images by adapting augmentation methods designed for RGB images. Towards this end, we present a Bayer preserving augmentation (BayerAug) method as an effective approach for raw image augmentation. Combining these data processing technqiues with a modified U-Net, our method achieves a PSNR of 52.11 and a SSIM of 0.9969 in NTIRE 2019 Real Image Denoising Challenge, demonstrating the state-of-the-art performance. Our code is available at https://github.com/Jiaming-Liu/BayerUnifyAug.

研究の動機と目的

• 異なるベイヤー配列を有する異種のロウ画像データセットにわたる単一のノイズ除去モデルを訓練する課題に対処すること。
• ロウ画像に標準的な RGB ベースのデータ増強を適用する際の制限を克服すること。これは空間的関係を歪め、性能を低下させる要因となる。
• ドメイン特化の前処理および増強技術を導入することで、ロウ画像ノイズ除去におけるモデルの汎化性能と性能を向上させること。

提案手法

• BayerUnify は、回転およびクロップ操作を用いて、さまざまなベイヤー配列（例：RGGB、BGGR、GRBG）を単一の標準（BGGR）に統合し、空間的構造を保持する。
• BayerAug は、ベイヤーグリッドの物理的整合性を保つパターン認識型変換を適用することで、ロウ画像上で幾何的データ増強（例：反転、クロップ）を可能にする。
• 本手法はロウ画像を 4 チャネルの RGGB テンソルとして処理し、前処理および増強が下位のセンサーパターンを破壊しないようにする。
• 特徴学習を向上させるために、標準的な畳み込みを置き換えた残差ブロックと PReLU 活性化関数を備えた変更版 U-Net アーキテクチャを用いる。
• モデル学習ではメタデータ（例：カメラモデル）に基づいたデータ分割を実施し、BayerUnify 正規化後に各モデルが入力パターンに特化するようにする。
• 推論段階では、テスト入力を標準化するために BayerUnify を適用し、その後、メタデータ分類に基づいたモデルアンサンブルを実行する。

実験結果

リサーチクエスチョン

• RQ1 多様なベイヤー配列を有するロウ画像データセットを、一貫した一般化可能なノイズ除去モデルを学習するために効果的に統合する方法は何か？
• RQ2 ロウ画像データに標準的な RGB スタイルのデータ増強技術を適用した場合の性能への影響は何か？
• RQ3 パターン認識型増強は、ロウ画像における空間的および構造的整合性を保持しつつ、トレーニングの多様性を高めることができるか？
• RQ4 適切な前処理および増強は、ロウ画像ノイズ除去における汎化性能と性能をどの程度向上させるか？
• RQ5 統一的かつ増強されたトレーニングパイプラインは、実世界のノイズ除去ベンチマークにおいて、パターン特化型モデルを上回ることができるか？

主な発見

• 提案された BayerUnify および BayerAug の技術により、性能が顕著に向上し、NTIRE 2019 リアル画像ノイズ除去チャレンジ（トラック 1）で 52.11 dB の PSNR および 0.9969 の SSIM を達成した。
• 素朴な前処理（例：素朴なチャネル順序入れ替え）および素朴な増強は性能を低下させ、GRBG パターンで PSNR が 42.78 dB まで低下するなど、パターン認識型手法の必要性を示している。
• BayerUnify のみを適用しても、素朴な統合より 1.14 dB の PSNR 向上を達成しており、ベイヤー配列間での空間的構造の保持効果が裏付けられている。
• BayerUnify と BayerAug を組み合わせることで最高の性能が得られ、RGGB データで 51.95 dB の PSNR を達成し、BayerUnify と素朴な増強を組み合わせた場合に比べ 0.12 dB の向上を示した。
• アブレーションスタディにより、不適切な前処理および増強はアーチファクトを引き起こし、汎化性能を低下させることを確認しており、本手法の必要性が裏付けられた。
• 最終的なモデルは、残差ブロックとモデルアンサンブルを組み合わせることで、最先端の結果を達成しており、提案されたデータパイプラインの有効性が確認された。