[論文レビュー] SAGAN: Adversarial Spatial-asymmetric Attention for Noisy Nona-Bayer Reconstruction

S M A Sharif, Rizwan Ali Naqvi+1 more|arXiv (Cornell University)|Oct 16, 2021

Image Processing Techniques and Applications被引用数 8

ひとこと要約

本論文では、ノイジィなノンバイヤーCFAパターンから高品質なRGB画像を再構築するための、エンド・ツー・エンドの深層学習フレームワークSAGANを提案する。空間非対称アテンションモジュールと adversarial 学習を統合することで、視覚的アーティファクトを効果的に低減し、知覚的品質を向上させ、定量的指標およびユーザーの好みの両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Nona-Bayer colour filter array (CFA) pattern is considered one of the most viable alternatives to traditional Bayer patterns. Despite the substantial advantages, such non-Bayer CFA patterns are susceptible to produce visual artefacts while reconstructing RGB images from noisy sensor data. This study addresses the challenges of learning RGB image reconstruction from noisy Nona-Bayer CFA comprehensively. We propose a novel spatial-asymmetric attention module to jointly learn bi-direction transformation and large-kernel global attention to reduce the visual artefacts. We combine our proposed module with adversarial learning to produce plausible images from Nona-Bayer CFA. The feasibility of the proposed method has been verified and compared with the state-of-the-art image reconstruction method. The experiments reveal that the proposed method can reconstruct RGB images from noisy Nona-Bayer CFA without producing any visually disturbing artefacts. Also, it can outperform the state-of-the-art image reconstruction method in both qualitative and quantitative comparison. Code available: https://github.com/sharif-apu/SAGAN_BMVC21.

研究の動機と目的

• 構造的歪みと誤った色のアーティファクトを引き起こすノイジィなノンバイヤーCFAパターンから高忠実度のRGB画像を再構築する課題に対処すること。
• ノイズが多い条件下で視覚的に気にならないアーティファクトを生じる既存の統合デモザイキングとノイズ除去（JDD）手法の限界を克服すること。
• 新規アテンション機構を用いて、エンド・ツー・エンドの深層学習モデルとして、双方向の空間変換とグローバルなコンテキストを同時に学習すること。
• 敵対的学習を統合することで、より自然なテクスチャーや色の分布を生成し、知覚的画像品質を向上させること。
• 実世界のノイジィなデータに対して本手法の有効性を実証し、ユーザー研究およびベンチマーク比較を通じて性能を検証すること。

提案手法

• ノンバイヤーCFAパターンにおける垂直および水平方向のピクセル変換にそれぞれ別々のアテンションマップを学習する空間非対称アテンションモジュールを提案する。
• 空間非対称モジュール内に大径カーネルのグローバルアテンションを統合し、長距離依存関係を捉え、特徴表現を向上させる。
• 空間非対称アテンションモジュールとプログレッシブコンテキスト学習（PCL）ブロックを組み合わせ、異なる色空間間での色の整合性を維持する。
• 生成的敵対的ネットワーク（GAN）のディスクライマーを用いて、生成器がより現実的なテクスチャーや自然な色の分布を持つ画像を生成するようにガイドする。
• L1損失、知覚的損失、敵対的損失の組み合わせを用いて、エンド・ツー・エンドでSAGANモデルを訓練し、ピクセル単位の正確性と知覚的品質の両方を最適化する。
• ノイズレベルσ = 10, 20, 30を用いたマルチスケール訓練戦略を採用し、さまざまなノイズ条件に耐性を持つようにする。

実験結果

リサーチクエスチョン

• RQ1 新規の空間非対称アテンション機構は、ノイジィなノンバイヤーCFAからのRGB再構築において視覚的アーティファクトを効果的に低減できるか？
• RQ2 空間非対称アテンションと敵対的学習を組み合わせることで、教師ありのみのベースラインと比較して、知覚的画像品質がどの程度向上するか？
• RQ3 個々の構成要素（空間非対称アテンション、PCL、GANディスクライマー）は、ノイジィなノンバイヤー再構築における全体の性能にどのように寄与しているか？
• RQ4 ユーザー研究によって検証されたように、本手法は実世界のノイジィなセンサーデータに対しても一般化性を示せるか？
• RQ5 本手法は、多様な画像コンテンツおよびノイズレベルにおいて、定量的指標と定性的な知覚の両面で優れた性能を達成できるか？

主な発見

• 線形RGB画像においてσ = 30のノイズ条件下で、SAGANはPSNR 33.47 dB、SSIM 0.9292を達成し、次に優れた手法（BaseGAN: 27.45 dB PSNR）を著しく上回った。
• sRGB画像において、SAGANはDeltaE 2.48を達成し、ベースラインモデル（10.63 DeltaE）および最先端手法と比較して優れた色再現性を示した。
• ユーザーの好みの研究では、SAGANは平均意見スコア（MOS）0.87を達成したのに対し、ノイズの強い入力では0.13にとどまり、顕著な知覚的優位性が確認された。
• アブレーションスタディの結果、空間非対称アテンション、PCL、GANディスクライマーのいずれかを除去すると、PSNR、SSIM、DeltaEが著しく低下し、それらが個別および相乗的に寄与していることが確認された。
• 定性的な結果から、SAGANは特に高コントラスト領域やテキストを含む領域において、誤った色のアーティファクトや構造的歪みを効果的に抑制していることが示された。
• 本モデルは実世界のノイジィなデータに対しても良好に一般化されており、定量的結果から、自然なテクスチャーや正確な色再現が、正解画像と比較して良好に得られていることが確認された。