[論文レビュー] Raw Bayer Pattern Image Synthesis for Computer Vision-oriented Image Signal Processing Pipeline Design

Wei Zhou, Xiangyu Zhang+3 more|arXiv (Cornell University)|Oct 25, 2021

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、逆変換可能で微分可能な変換（特にデモザイシング）を活用することで、GANベースの手法により、高品質で任意サイズのRAWバイヤー画像をカラー画像から合成することを提案する。この手法により、訓練の安定性と生成性能が向上し、RAW画像を用いたエンドツーエンドのコンピュータビジョンパイプラインが可能となり、実際のRAWデータで訓練されたモデルとほぼ同一の検出精度を達成する。これにより、ISP共同設計やセンサ内コンピューティングが可能になる。

ABSTRACT

In this paper, we propose a method to add constraints that are un-formulatable in generative adversarial networks (GAN)-based arbitrary size RAW Bayer image generation. It is shown theoretically that by using the transformed data in GAN training, it is able to improve the learning of the original data distribution, owing to the invariant of Jensen-Shannon (JS) divergence between two distributions under invertible and differentiable transformation. Benefiting from the proposed method, RAW Bayer pattern images can be generated by configuring the transformation as demosaicing. It is shown that by adding another transformation, the proposed method is able to synthesize high-quality RAW Bayer images with arbitrary size. Experimental results show that images generated by the proposed method outperform the existing methods in the Fréchet inception distance (FID) score, peak signal to noise ratio (PSNR), and mean structural similarity (MSSIM), and the training process is more stable. To the best knowledge of the authors, there is no open-source, large-scale image dataset in the RAW Bayer domain, which is crucial for research works aiming to explore the image signal processing (ISP) pipeline design for computer vision tasks. Converting the existing commonly used color image datasets to their corresponding RAW Bayer versions, the proposed method can be a promising solution to the RAW image dataset problem. We also show in the experiments that, by training object detection frameworks using the synthesized RAW Bayer images, they can be used in an end-to-end manner (from RAW images to vision tasks) with negligible performance degradation.

研究の動機と目的

• コンピュータビジョンおよびISPパイプライン研究に不可欠な大規模かつオープンソースのRAWバイヤー画像データセットの不足に対処すること。
• 標準的なISPパイプラインを回避して、RAWバイヤー画像上で直接エンドツーエンドのビジョンモデルを訓練可能にする。
• 実際のRAW画像の統計的および構造的性質を保持する、安定的で高精度の画像合成手法を開発すること。
• 特定のビジョンタスクに最適化されたISPパイプラインの最適化に、合成RAW画像を用いる可能性を検証すること。
• ビジョンアルゴリズムにおけるRAWセンサデータの直接利用を可能にすることで、計算オーバーヘッドを低減する、センサ内コンピューティングを支援すること。

提案手法

• 本手法は、逆変換可能で微分可能な変換（特にデモザイシング）を用い、RAWバイヤー画像を、GANの訓練がより安定的かつ効果的に行える変換空間にマッピングする。
• 逆変換可能変換の不変性を活用して、Jensen–Shannon（JS）発散が元のデータ分布の学習を改善する。
• 生成器は変換済みデータ（デモザイシング済み画像）上で訓練され、逆変換が適用されて高品質なRAWバイヤー画像が再構成される。
• 本手法のアーキテクチャには、バイヤーパターンの空間的および色の構造を特に保持するモジュールが組み込まれており、画像の忠実度が向上する。
• 適切に変換パイプラインを設定することで、任意サイズの画像合成が可能となる。
• 本手法は可逆なデータ生成を可能とし、既存のカラー画像データセットを対応するRAWバイヤー版に変換可能である。

実験結果

リサーチクエスチョン

• RQ1 逆変換可能変換は、RAWバイヤー画像合成におけるGANの訓練安定性と性能を向上させ得るか？
• RQ2 合成RAWバイヤー画像は、下流のコンピュータビジョンタスクにおいて、実際のRAW画像と同等の性能を達成できるか？
• RQ3 合成RAW画像は、ISP処理を経ないエンドツーエンドのビジョンパイプラインをどの程度サポートできるか？
• RQ4 FID、PSNR、MSSIMスコアの観点から、本手法は既存のGANベースの手法と比較してどのように優れているか？
• RQ5 本手法は、標準的なカラー画像データセットから任意サイズの高品質なRAWバイヤー画像を生成できるか？

主な発見

• 本手法は、同一の訓練条件下で、既存手法と比較して優れたFID、PSNR、MSSIMスコアを達成した。
• 合成RAWバイヤー画像で訓練された物体検出モデルは、同じデータセット上で、Faster R-CNNで69.19、SSD300で63.33、Yolo-v3で70.86のAPスコアを達成し、実際のRAWデータで訓練したモデルとほぼ同等の性能を示した。
• 実際のRAWバイヤー画像で評価したところ、合成データで訓練したモデルは性能劣化が顕著ではなく、Faster R-CNNで68.81、SSD300で63.21、Yolo-v3で70.82のAPスコアを示した。
• 合成RAWデータを用いることで、物体検出の失敗率が顕著に低下した。例えば、小形または暗い物体の検出漏れが、カラー画像で訓練したモデルと比較して減少した。
• 本手法により、ISPパイプラインに起因する性能劣化を回避して、RAWバイヤー画像上で直接エンドツーエンドの物体検出が可能になった。
• 訓練プロセスは、一貫した指標改善と訓練発散の低減により、ベースラインのGANよりも安定的であったことが確認された。