[論文レビュー] Learning Digital Camera Pipeline for Extreme Low-Light Imaging

Syed Waqas Zamir, Aditya Arora+3 more|arXiv (Cornell University)|Apr 11, 2019

Advanced Image Processing Techniques参考文献 40被引用数 17

ひとこと要約

本稿では、ピクセル単位の損失、構造的損失、知覚的損失を組み合わせることで、極端な低照度画像処理のためのエンドツーエンドのディーブラーニングフレームワークを提案する。この手法により、短時間露光のRAWセンサデータを、シャープネス、色再現性、コントラストが向上し、ノイズやアーティファクトが低減された高品質な露出補正済みsRGB画像に変換する。定量的指標および心理物理学的評価において、最先端の手法を上回る性能を発揮する。

ABSTRACT

In low-light conditions, a conventional camera imaging pipeline produces sub-optimal images that are usually dark and noisy due to a low photon count and low signal-to-noise ratio (SNR). We present a data-driven approach that learns the desired properties of well-exposed images and reflects them in images that are captured in extremely low ambient light environments, thereby significantly improving the visual quality of these low-light images. We propose a new loss function that exploits the characteristics of both pixel-wise and perceptual metrics, enabling our deep neural network to learn the camera processing pipeline to transform the short-exposure, low-light RAW sensor data to well-exposed sRGB images. The results show that our method outperforms the state-of-the-art according to psychophysical tests as well as pixel-wise standard metrics and recent learning-based perceptual image quality measures.

研究の動機と目的

• 低光量条件下における従来のカメラパイプラインの限界を解決すること。低光量では光子数が少なく、SNRが悪いため、暗くノイズが多く、コントラストが低い画像が得られる。
• ピクセル単位の損失に依存する既存の学習ベースの手法の欠陊を克服すること。これらはしばしば過度に滑らかで、アーティファクトを含む出力を生成する。
• 大規模な低照度データセットを用いて、RAWセンサデータから最終的なsRGB出力までの完全なカメラ処理パイプラインをデータ駆動で学習するアプローチを開発すること。
• ピクセルレベル、構造的、知覚的損失のコンポonentを組み合わせることで、人間の知覚に忠実な画像品質を向上させ、テクスチャや構造を保持すること。
• 入力画像の強度を反転し、除霧処理を施し、再び反転することで、コントラスト向上のための後処理手順を導入し、画像のコントラストと色の鮮やかさを向上させること。

提案手法

• 本手法は、ℓ₁、MS-SSIM、および特徴レベルの知覚的損失（L_feat）を組み合わせた新しいハイブリッド損失関数を採用し、ピクセルの正確性、構造の保存、知覚的品質のバランスをとる。
• ネットワークは2段階で訓練される：まず4000エポック、標準的な真値画像で訓練し、その後100エポックにわたりコントラスト強化済真値を用いて微調整することで、明るさと色再現性を向上させる。
• 推論後処理としてコントラスト向上手順を適用する：出力画像を反転し、除霧アルゴリズム（例：[13]）を適用し、再び反転することで、明るく、鮮やかで、アーティファクトのない画像を得る。
• 損失関数は重み付き和として定式化される：L_total = α·L₁ + β·L_MS-SSIM + γ·L_feat。ここでα、β、γは、互いに競合する目的をバランスさせるためのハイパーパrameterである。
• フレームワークは、短時間露光（低照度）と長時間露光（真値）のペアを提供するSee-in-the-Dark（SID）データセットを用いて訓練される。
• モデルは、デモザイキング、ノイズ除去、色補正、トーンマッピング、シャープニングを含む、完全なカメラパイプラインを、手作業による事前知識なしにエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位の損失、構造的損失、知覚的損失を組み合わせたハイブリッド損失関数は、標準的なℓ₁損失や知覚的損失のみの手法と比較して、低照度画像修復の視覚的品質を顕著に向上させることができるか？
• RQ2 反転と除霧に基づく提案されたコントラスト向上手順は、低照度画像出力の知覚的品質をどのように向上させるか？
• RQ3 標準的な真値画像での学習に加えて、コントラスト強化済真値で微調整を施すことで、最終的な画像品質がどの程度向上するか？
• RQ4 提案手法は、定量的指標と人間の知覚評価の両方において、既存の学習ベースの手法を上回るか？
• RQ5 エンドツーエンドのネットワークは、手作業で設計されたモジュールに依存せずに、完全で知覚的に忠実なカメラパイプラインを学習できるか？

主な発見

• 提案手法は、Chenら[3]の最先端手法を定量的指標および心理物理学的評価の両方で上回り、被験者による評価でも一貫してその出力が好まれる。
• ℓ₁、MS-SSIM、L_feat損失の組み合わせが最良の結果をもたらす。各コンポonentは特定の欠陥を補う：ℓ₁は彩度を向上させ、MS-SSIMはテクスチャを保存し、L_featはチェスボードアーティファクトを低減する。
• コントラスト向上手順により、画像の明るさと色の鮮やかさが顕著に向上し、従来の手法で見られる暗く、退色した外観が軽減される。
• Chenら[3]の手法にこのコントラスト手順を適用すると、既存のアーティファクトが拡大されるが、本手法では新たな歪みを導入せずに出力を向上させる。
• 表3のアブレーションスタディにより、各損失コンポonentが独自に寄与しており、それらの組み合わせがPSNRと視覚的品質の両面で優れた性能をもたらすことが確認された。
• 最終モデルは、ノイズや色アーティファクトがなく、シャープネスが高く、鮮やかな画像を生成する。これは定性的な比較（図1d）および図7で示されている。