[論文レビュー] CycleISP: Real Image Restoration via Improved Data Synthesis

Syed Waqas Zamir, Aditya Arora+5 more|arXiv (Cornell University)|Mar 17, 2020

Image and Signal Denoising Methods参考文献 63被引用数 23

ひとこと要約

本論文では、sRGB画像とRAW画像の間の変換を学習するデバイスに依存しないフレームワーク、CycleISPを提案する。このフレームワークにより、実際の画像のノイズ除去に適した合成データの生成が可能となり、実世界のベンチマーク（DNDおよびSIDD）で最先端の性能を達成した。本手法は、5倍小さいモデル（260万パラメータ）で、未確認のカメラセンサーに対しても優れた一般化性能を示した。

ABSTRACT

The availability of large-scale datasets has helped unleash the true potential of deep convolutional neural networks (CNNs). However, for the single-image denoising problem, capturing a real dataset is an unacceptably expensive and cumbersome procedure. Consequently, image denoising algorithms are mostly developed and evaluated on synthetic data that is usually generated with a widespread assumption of additive white Gaussian noise (AWGN). While the CNNs achieve impressive results on these synthetic datasets, they do not perform well when applied on real camera images, as reported in recent benchmark datasets. This is mainly because the AWGN is not adequate for modeling the real camera noise which is signal-dependent and heavily transformed by the camera imaging pipeline. In this paper, we present a framework that models camera imaging pipeline in forward and reverse directions. It allows us to produce any number of realistic image pairs for denoising both in RAW and sRGB spaces. By training a new image denoising network on realistic synthetic data, we achieve the state-of-the-art performance on real camera benchmark datasets. The parameters in our model are ~5 times lesser than the previous best method for RAW denoising. Furthermore, we demonstrate that the proposed framework generalizes beyond image denoising problem e.g., for color matching in stereoscopic cinema. The source code and pre-trained models are available at https://github.com/swz30/CycleISP.

研究の動機と目的

• 画像のノイズ除去における合成データ（例：AWGN）と実カメラノイズの間のドメインギャップを解消すること。
• 従来の合成データ生成手法が加法的白色ガウスノイズ（AWGN）を仮定しており、信号依存性・パイプライン変換されたノイズを正しくモデル化できないという限界を克服すること。
• カメラ固有のパrameterを必要とせず、RAWおよびsRGB空間の両方で現実的で正確なクリア/ノイジー画像ペアを生成する手法を開発すること。
• 実世界のデータセットに良好に一般化できる軽量で高性能なノイズ除去ネットワークを訓練すること。
• CycleISPフレームワークの応用範囲をノイズ除去を超えて、ステレオスコピックなカラーマッチングなど他の低レベルビジョンタスクへ拡張することを示すこと。

提案手法

• カメラ固有のメタデータを必要とせず、sRGBとRAW画像空間の間を双方向にマッピングする、CycleGANベースのフレームワーク、CycleISPを導入する。
• 特徴表現と再構成忠実度を向上させるために、チャネルおよび空間アテンション機構を備えた二重ブランチネットワークを採用する。
• 学習済みのCycleISPモデルを介してクリアなsRGB画像をRAWに変換した後、そのRAW画像にノイズを注入することで、現実的なノイズを合成する。
• ノイズ注入プロセスを逆転できるように、ペア化された合成データ（クリアRAW/sRGB → ノイジーRAW/sRGB）でノイズ除去ネットワークを訓練する。
• CycleISPのデバイスに依存しない性質を活かし、公開済みのsRGB画像から多様で現実的な訓練データを生成する。
• ステレオ映画におけるカラーマッチングにCycleISPフレームワークを応用し、RAW空間を介してターゲットビューの色特性をソースビューに転送する。

実験結果

リサーチクエスチョン

• RQ1 デバイスに依存しない画像変換モデルは、低レベルビジョンタスクにおける現実的データ合成のため、sRGBとRAWのドメインを効果的に橋渡しできるか？
• RQ2 CycleISPを介して生成された合成データで訓練したモデルは、AWGNベースの合成データと比較して、実世界のノイズ除去ベンチマークでより優れた一般化性能を示すか？
• RQ3 提案されたフレームワークは、ノイズ除去を超えて、3D映画におけるカラーマッチングなどの他の低レベルビジョン問題へも拡張可能か？
• RQ4 特にアテンション機構を含むノイズ除去ネットワークのアーキテクチャは、性能とパラメータ効率にどのように影響を与えるか？
• RQ5 CycleISPフレームワークは、画像修復タスクにおける合成データと実データの間のドメインシフトをどの程度低減できるか？

主な発見

• 提案されたノイズ除去ネットワークは、DNDデータセット（RAW）で40.44 dBのPSNRを達成し、従来の最先端手法を上回った。sRGBでは36.16 dBのPSNRを記録した。
• SIDDベンチマークでは、直接評価で50.14 dBのPSNRを達成。DNDで微調整した場合、以前の最高手法（UPI）と比較して1 dBの向上を示した。
• ノイズ除去モデルのパラメータ数は260万（2.6M）であり、従来の最高手法（1180万）と比較して5倍の削減を達成しながら、優れた性能を維持した。
• アブレーションスタディの結果、チャネルアテンションと空間アテンションの両方の機構が重要であり、並列に使用した場合に最も高い性能が得られた。
• CycleISPフレームワークはステレオスコピックカラーマッチングに対しても効果的に一般化でき、3D映画データセットで36.60 dBのPSNRを達成し、既存手法を上回った。
• ゼロショット一般化性能も顕著で、DNDで学習したモデルをSIDDで評価した場合、UPI手法を1 dB上回るPSNRを達成した。これはドメインシフトに対して強いロバストネスを示している。