[論文レビュー] Learning to See in the Dark

Chen Chen, Qifeng Chen+2 more|arXiv (Cornell University)|May 4, 2018

Advanced Image Processing Techniques参考文献 26被引用数 43

ひとこと要約

この論文は極端に暗い撮影のためのSee-in-the-Dark (SID) データセットを導入し、RAWセンサデータ上で動作するエンドツーエンドの完全畳み込みネットワークを訓練して、単一画像の低照度動画におけるノイズ抑制と色再現を改善し、従来のパイプラインおよびポストデノイズのベースラインを上回る。

ABSTRACT

Imaging in low light is challenging due to low photon count and low SNR. Short-exposure images suffer from noise, while long exposure can induce blur and is often impractical. A variety of denoising, deblurring, and enhancement techniques have been proposed, but their effectiveness is limited in extreme conditions, such as video-rate imaging at night. To support the development of learning-based pipelines for low-light image processing, we introduce a dataset of raw short-exposure low-light images, with corresponding long-exposure reference images. Using the presented dataset, we develop a pipeline for processing low-light images, based on end-to-end training of a fully-convolutional network. The network operates directly on raw sensor data and replaces much of the traditional image processing pipeline, which tends to perform poorly on such data. We report promising results on the new dataset, analyze factors that affect performance, and highlight opportunities for future work. The results are shown in the supplementary video at https://youtu.be/qWKUFK7MWvg

研究の動機と目的

• 従来のパイプラインが機能しない極端に暗い環境で、迅速かつ高品質な撮影を促進する動機づけ。
• 長秒露光のグラウンドトゥルースを持つ、実際に公開されたRAW低照度画像のデータセット（SID）を提供する。
• RAWセンサデータを処理して知覚的に美しい低照度画像を生成する、エンドツーエンドで学習可能なパイプラインを開発する。
• エンドツーエンドのRAWデータ処理と従来のデノイズ処理およびバースト/撮像法を比較評価する。
• カメラ間の一般化とリアルタイムまたはほぼリアルタイム処理の可能性を探る。

提案手法

• RAWセンサデータ上で直接動作するエンドツーエンドの完全畳み込みネットワーク（FCN）を訓練し、デモザイキング、ノイズ除去、カラー変換などの従来の処理モジュールを置換する。
• ベイヤーおよびX-Transセンサデータをマルチチャンネル入力にパックし、ネットワーク処理前にブラックレベル減算と外部増幅比（ISO様）を適用し、サブピクセルレイヤでフル解像度を回復する。
• 2つのコアアーキテクチャ（CANとU-net）を評価し、実験ではU-netがカラーとPSNRで優れる。
• 長秒露光のグラウンドトゥルース参照を用いたL1損失でネットワークを訓練し、データ拡張およびカメラ固有のモデルを適用する。
• 従来のパイプライン、BM3Dデノイズ、理想化されたバーストデノイズと比較評価を、知覚的A/Bテスト（MTurk）で行う。
• 設計選択（入力色のパッキング、損失関数、訓練時のヒストグラムストレッチの欠如）とそれらが画質に与える影響を調査する。

実験結果

リサーチクエスチョン

• RQ1 RAWの低照度センサデータ上で動作するエンドツーエンドのFCNは、1/30〜1/10秒露光で<0.1ルクス下のときに、知覚的に高品質な画像を回復できるか？
• RQ2 Rawデータ上での全パイプラインの学習が、従来のパイプラインや後処理デノイズ・バースト手法と比べて、知覚品質と定量指標の点でどうなるか？
• RQ3 極端な低照度条件で、どのネットワークアーキテクチャとデータ表現が最も色とディテールを保持するか？
• RQ4 RAWデータ処理はカメラ間（センサー種別）の移植性があるか、それともカメラ固有のモデルを必要とするか？
• RQ5 性能と一般化に最も影響を与える要因は何か（増幅比、パッキング方式、損失関数）？

主な発見

• SIDは屋内外のシーンを横断する長露光のグラウンドトゥルースを持つ5094枚のRAW短時間露光画像を提供します。
• RAWデータのエンドツーエンドFCNベースの処理は、従来のパイプラインを上回り、ノイズ抑制と正しいカラー変換を大幅に実現します。
• BM3Dおよび理想化されたバーストデノイズと比較して、SIDベースのパイプラインは知覚テストで難易度の高いx300データで顕著に優れています。
• U-netアーキテクチャがSIDデータではCANよりカラー回復とPSNRで優れる。
• 極端な低照度条件では、RAWセンサデータ上で処理する方がsRGB出力で処理するより効果的。
• SIDには動的なシーンの欠如とカメラ固有モデルの必要性などの制約があり、リアルタイムの高解像度処理は依然課題です。