[論文レビュー] Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline

Yu-Lun Liu, Wei‐Sheng Lai+5 more|arXiv (Cornell University)|Apr 2, 2020

Image Enhancement Techniques参考文献 54被引用数 15

ひとこと要約

本論文は、カメラパイプラインを逆方向に処理する新しい1枚のLDR入力からのHDR再構成手法を提案する。この手法は、量子化、非線形応答関数、過露出領域の回復のそれぞれを担当する3つの専用サブネットワーク（Dequantization-Net、Linearization-Net、Hallucination-Net）にタスクを分解する。物理的制約とエンドツーエンドの微調整を組み合わせることで、合成データおよび実世界データの両方で最先端の性能を達成し、HDR-VDP-2スコアおよび視覚的品質の面で、先行する学習ベースの手法を顕著に上回る。

ABSTRACT

Recovering a high dynamic range (HDR) image from a single low dynamic range (LDR) input image is challenging due to missing details in under-/over-exposed regions caused by quantization and saturation of camera sensors. In contrast to existing learning-based methods, our core idea is to incorporate the domain knowledge of the LDR image formation pipeline into our model. We model the HDRto-LDR image formation pipeline as the (1) dynamic range clipping, (2) non-linear mapping from a camera response function, and (3) quantization. We then propose to learn three specialized CNNs to reverse these steps. By decomposing the problem into specific sub-tasks, we impose effective physical constraints to facilitate the training of individual sub-networks. Finally, we jointly fine-tune the entire model end-to-end to reduce error accumulation. With extensive quantitative and qualitative experiments on diverse image datasets, we demonstrate that the proposed method performs favorably against state-of-the-art single-image HDR reconstruction algorithms.

研究の動機と目的

• センサーの制限により、露出不足および露出過多領域で重要な詳細が失われる1枚のLDR入力からの単一画像HDR再構成の課題に対処すること。
• LDRからHDRへの直接的なマッピングを学習する困難を、LDR画像形成パイプラインの物理的ステップを明示的にモデル化することで克服すること。
• Dequantization（量子化解除）、Linearization（線形化）、Hallucination（幻覚生成）の3つのサブタスクに問題を分解することで、一般化性能を向上させ、誤差の蓄積を低減すること。
• 各サブネットワークに特化したドメイン固有の制約（例：CRF推定における単調性、知覚的損失）を導入することで性能を向上させること。
• 合成データおよび実世界データの両方で手法を検証し、視覚的品質およびHDR-VDP-2などの定量的指標において優れた結果を示すこと。

提案手法

• 本手法は、LDR画像形成パイプラインを3段階の順次処理としてモデル化する：ダイナミックレンジのクリッピング、カメラ応答関数（CRF）による非線形マッピング、量子化。
• 8ビット量子化による詳細損失を回復するDequantization-Netを導入し、残留学習フレームワークを用いてバンドリングやノイズアーチファクトを回復する。
• エッジ特徴量、強度ヒストグラム、単調増加制約を組み合わせて、逆CRF推定を精度高くかつ物理的に妥当に実現するLinearization-Netを提案する。
• 過露出領域の欠落コンテンツを、正の残留学習、リサイズ畳み込み（resize convolutions）を用いてチェッカーパattersの低減、および知覚的損失を組み合わせて予測するHallucination-Netを設計する。
• エラー蓄積を低減し、実世界入力に対してより頑健になるように、全モデルをエンドツーエンドで共同微調整するRefinement-Netを用いる。
• サブタスクごとに個別に監視を行う段階的トレーニングを実施し、その後エンドツーエンド微調整を実施することで、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 カメラパイプラインの前向きプロセスを明示的にモデル化することで、1枚のLDR入力からのHDR再構成性能が向上するか？
• RQ2 Dequantization、Linearization、Hallucinationの3つのサブタスクに分けることで、エンドツーエンド学習に比べて一般化性能が向上するか？
• RQ3 単調性制約（CRF推定）、エッジおよびヒストグラム特徴量といった物理的制約は、逆CRF推定および線形画像回復の精度向上にどの程度有効か？
• RQ4 知覚的損失やアーキテクチャ選択（例：リサイズ畳み込み）は、幻覚生成領域における視覚的リアリズムをどの程度向上させるか？
• RQ5 中間監視付き段階的トレーニングは、初期から全モデルを学習する方法に比べて優れているか？

主な発見

• Dequantization-NetはPSNR 35.87 ± 6.11、SSIM 0.9955 ± 0.0070を達成し、Houら[18] や Liu ら[35] の先行手法を上回った。
• エッジ特徴量、ヒストグラム、単調性制約を組み合わせたLinearization-Netは、逆CRFのL2誤差を1.56 ± 2.52に低減し、線形画像のPSNRを34.64 ± 6.73に達成した。
• 正の残留学習、リサイズ畳み込み、知覚的損失を組み合わせたHallucination-Netは、HDR-VDP-2スコア66.31 ± 15.82を達成し、アブレーションバージョンに比べ顕著な向上を示した。
• エンドツーエンドで初期から学習を開始した場合、HDR-SynthデータセットではHDR-VDP-2スコアが-4.43低下し、HDR-Realデータセットでは-3.48低下した。これは段階的トレーニングの有効性を裏付ける。
• 本手法は合成データおよび実世界データの両方で最先端の性能を達成し、HDR-VDP-2スコアが優れており、露出不足および過露出領域の詳細回復も視覚的に魅力的である。
• ユーザースタディおよび定性的な結果から、本手法は既存の最先端手法に比べ、より現実的で詳細なHDR出力を生成することが確認された。