[論文レビュー] AIM 2020 Challenge on Learned Image Signal Processing Pipeline

Andrey Ignatov, Radu Timofte+37 more|arXiv (Cornell University)|Nov 10, 2020

Image and Signal Denoising Methods参考文献 41被引用数 16

ひとこと要約

本論文は、Huawei P20スマートフォンの低品質なRAW画像を、Canon 5D DSLRと同等の高品質なRGB画像に変換する深層学習モデルを開発したAIM 2020チャレンジについて述べている。チャレンジでは、48,043個のアラインされたRAW-RGBパッチを含む大規模なZRRデータセットが使用され、RRGNet、マルチスケールU-Net、PWCDなどの多様なアーキテクチャを用いて、統合損失関数とセルフエンsemble推論を組み合わせることで最先端の性能が達成された。

ABSTRACT

This paper reviews the second AIM learned ISP challenge and provides the description of the proposed solutions and results. The participating teams were solving a real-world RAW-to-RGB mapping problem, where to goal was to map the original low-quality RAW images captured by the Huawei P20 device to the same photos obtained with the Canon 5D DSLR camera. The considered task embraced a number of complex computer vision subtasks, such as image demosaicing, denoising, white balancing, color and contrast correction, demoireing, etc. The target metric used in this challenge combined fidelity scores (PSNR and SSIM) with solutions' perceptual results measured in a user study. The proposed solutions significantly improved the baseline results, defining the state-of-the-art for practical image signal processing pipeline modeling.

研究の動機と目的

• モバイルセンサーからの低品質なRAW画像を、プロフェッショナルなDSLR出力と同等の高品質なRGB画像に変換するエンドツーエンドの深層学習モデルの開発。
• 1つのパイプラインでデモザイキング、ノイズ除去、ホワイトバランス補正、色補正、コントラスト強化の包括的な画像修復タスクを同時に処理すること。
• 定量的指標（PSNR、SSIM）とユーザースタディによる知覚的品質を用いて、実世界の画像品質要件を反映した手法のベンチマーク化。
• 大規模かつ実世界のデータセットを用いて、実用的で現実世界のISPパイプラインモデリングにおける新たな最先端技術を確立すること。
• 多様な高度なニューラルネットワークアーキテクチャと学習戦略を活用し、将来的な学習ISP分野の研究のための標準化ベンチマークを提供すること。

提案手法

• チャレンジでは、Huawei P20（RAW）とCanon 5D Mark IV（RGB）で撮影された20,000組のペア画像から構成される大規模なZurich RAW to RGB（ZRR）データセットが使用された。学習および検証に48,043個のアラインされた448×448パッチが用いられた。
• 画像は、SIFTおよびRANSACを用いたパッチ抽出、アラインメント、およびクロス相関による精練によって処理され、サブピクセルの正確性が保証された。
• RAWパッチは、ベイヤー・フィルターパatters（RGGB）を反映させるために224×224×4テンソルに再形状され、センサーレベルの情報を保持した。
• RRGNetに残留接続と注目ブロックを組み合わせた複数の深層学習アーキテクチャが採用された。また、マルチスケールU-Netは色とVGGベースの損失関数を併用し、PWCDはLAB色空間で処理された。
• MSE、VGGベースの知覚的損失、およびSSIMを組み合わせたハイブリッド損失関数が使用され、各トラックおよび学習段階に応じた適応的重み付けが行われた。
• モデルの堅牢性と最終出力品質の向上を図るために、複数のモデルバリアントを用いたセルフエンセムブル推論戦略が適用された。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、低品質なモバイルRAW画像から高品質なDSLR風RGB出力への複雑なエンドツーエンドマッピングを効果的に学習できるか？
• RQ2 U-Net、RRGNet、注目ベースネットワークなどの異なるニューラルネットワークアーキテクチャは、デモザイキング、ノイズ除去、色補正という多面的な課題をどのように処理するか？
• RQ3 MSE、知覚的損失、SSIMを組み合わせた損失関数は、実世界のISPパイプラインにおいて、定量的および知覚的品質の両面でどの程度向上をもたらすか？
• RQ4 セルフエンセムブル推論は、実世界データ上で学習されたISPモデルの堅牢性と性能をどの程度向上させるか？
• RQ5 データ品質とアラインメントは、学習されたISPモデルの性能にどのような影響を及ぼすか？また、アラインメントがずれているか破損したデータはどのように緩和できるか？

主な発見

• 最良のモデルは、テストセットでPSNR 31.8 dB、SSIM 0.938を達成し、ベースライン手法を大きく上回り、RAWからRGBへのマッピング分野で新たな最先端水準を確立した。
• 注目機構（例：STAIR、Skyb）とマルチスケール特徴を活用したモデル（例：SenseBrainer）は、微細なディテールと色再現性の両面で優れた性能を示した。
• MSEに加えてVGGベースの知覚的損失とSSIMを組み合わせた結果、ユーザースタディのスコアが顕著に向上し、より優れた知覚的品質であることが示された。
• セルフエンセムブル戦略は、すべてのチームで一貫して結果を改善し、予測のばらつきを低減し、モデルの堅牢性を向上させることの有効性を示した。
• アラインメントがずれているか破損した画像を学習セットから除外したチーム（例：SenseBrainer）は、より安定した学習と優れた一般化性能を報告した。
• LAB空間におけるピクセル単位の色距離（PWCD）モデルは、知覚的に意味のある色の差を直接最小化することで、RGBベースのベースラインを上回る色精度を達成した。