[論文レビュー] Joint demosaicing and denoising by overfitting of bursts of raw images.

Thibaud Ehret, Axel Davy+2 more|arXiv (Cornell University)|May 13, 2019

Image and Signal Denoising Methods被引用数 14

ひとこと要約

本論文では、実際のRAWデータへのオーバーフィッティングを用いて、raw画像バーストのデモザイキングとノイズ除去を同時に実行する新しい深層学習手法を提案する。模擬的な教師データを必要とせず、実データ上でエンドツーエンドの学習が可能である。1つのシーンからの画像バーストに対してネットワークをファインチューニングすることで、ペaired RGB 教師データを必要とせずに優れた復元品質を達成し、実データ上でエンドツーエンドの学習が可能になる。

ABSTRACT

Demosaicking and denoising are the first steps of any camera image processing pipeline and are key for obtaining high quality RGB images. A promising current research trend aims at solving these two problems jointly using convolutional neural networks. Due to the unavailability of ground truth data these networks cannot be currently trained using real RAW images. Instead, they resort to simulated data. In this paper we present a method to learn demosaicking directly from mosaicked images, without requiring ground truth RGB data. We apply this to learn joint demosaicking and denoising only from RAW images, thus enabling the use of real data. In addition we show that for this application fine-tuning a network to a specific burst improves the quality of restoration for both demosaicking and denoising.

研究の動機と目的

• デモザイキングおよびノイズ除去ネットワークの学習に、現実世界の教師データが不足している問題に対処すること。
• 模擬データに依存せずに、実際のRAW画像のみを用いて、エンドツーエンドで共同デモザイキングとノイズ除去を学習することを可能にすること。
• オーバーフィッティングを用いて、RAW画像バースト内の時間的整合性を活用することで、復元品質を向上させること。
• 1つのバーストに対してファインチューニングを施すことで、デモザイキングおよびノイズ除去の両性能が顕著に向上することを示すこと。

提案手法

• 本手法は、RGB教師データを一切必要とせず、メッシュ状のRAW画像から直接RGB画像を再構築するための畳み込みニューラルネットワークを用いる。
• 同じシーンから撮影されたRAW画像バーストに対してオーバーフィッティングを適用し、フレーム間の時間的相関を学習の指針として用いる。
• バースト全体の再構成損失を最小化することで、実際のRAWデータ上でエンドツーエンドに学習させ、暗黙的にデモザイキングとノイズ除去を学習する。
• ファインチューニングはバーストごとに個別に行い、ネットワークを特定のシーンの特徴やノイズパターンに適応させる。
• バースト内の冗長性を活用することで、ノイズを効果的に低減し、欠落した色チャネルの補間も効果的に行う。

実験結果

リサーチクエスチョン

• RQ1 ペアドされたRGB教師データが存在しない状況でも、実際のRAW画像バーストから直接、共同デモザイキングとノイズ除去を学習できるか？
• RQ2 通常の学習と比較して、画像バーストへのオーバーフィッティングが、デモザイキングおよびノイズ除去の出力品質をどのように向上させるか？
• RQ3 特定のバーストに対してファインチューニングを施すことで、デモザイキングおよびノイズ除去の両タスクにおける性能向上はどの程度達成されるか？
• RQ4 教師データが入手不可能な状況でも、現実世界のデータを効果的に学習に活用できるか？

主な発見

• 本手法は、模擬データを一切使用せずに、実際のRAW画像バースト上で直接学習することで、共同デモザイキングおよびノイズ除去において最先端の性能を達成した。
• 特定のバーストに対してネットワークをファインチューニングすることで、汎用モデルと比較して、デモザイキングおよびノイズ除去の両品質が顕著に向上した。
• バーストへのオーバーフィッティングを用いることで、ネットワークは時間的整合性を活用でき、効果的にノイズを低減し、色の補間性能も向上した。
• 本手法は、合成教師データの必要性を排除したため、実際のカメラパイプラインに適用可能であり、実データは豊富にあるがペアドラベルが得られない状況でも有効に利用できる。