[論文レビュー] End-to-End Deep HDR Imaging with Large Foreground Motions.

Shangzhe Wu, Jiarui Xu+2 more|arXiv (Cornell University)|Nov 24, 2017

Image Enhancement Techniques参考文献 29被引用数 7

ひとこと要約

本稿では、大規模な前景の動きを伴う動的シーンにおける高ダイナミックレンジ（HDR）画像再構成のためのエンドツーエンドのディープラーニングフレームワークを提案する。光学フロー推定に依存せずに、HDRを画像変換タスクとして定式化することで、遮蔽、過飽和、露出不足の状況下でも自動的にHDRの詳細を補完する。従来の最先端手法と比較して、色のアーチファクトや幾何的歪みを顕著に低減する。

ABSTRACT

This paper proposes the first end-to-end deep framework for high dynamic range (HDR) imaging of dynamic scenes with large-scale foreground motions. In state-of-the-art deep HDR imaging such as [13], the problem is formulated as an image composition problem, by first aligning input images using optical flows which are still error-prone due to occlusion and large motions. In our end-to-end approach, HDR imaging is formulated as an image translation problem and no optical flows are used. Moreover, our simple translation network can automatically hallucinate plausible HDR details in the presence of total occlusion, saturation and under-exposure, which are otherwise almost impossible to recover by conventional optimization approaches. We perform extensive qualitative and quantitative comparisons to show that our end-to-end HDR approach produces excellent results where color artifacts and geometry distortion are significantly reduced compared with existing state-ofthe-art methods.

研究の動機と目的

• 大規模な前景の動きや遮蔽下における光学フローに基づくアライメントの限界を解消すること。
• 光学フロー推定の誤差を避けるために、画像合成ではなく画像変換問題としてHDRを定式化すること。
• 過飽和、露出不足、完全遮蔽の影響を受ける領域において、妥当なHDR詳細の自動補完を可能にすること。
• 動的シーンにおけるHDR再構成において、色のアーチファクトと幾何的歪みを低減すること。

提案手法

• フレームワークはHDR再構成をエンドツーエンドの画像変換問題として定式化し、光学フロー推定の必要性を回避する。
• 複数の露出画像を直接1つのHDR出力にマッピングする、シンプルだが効果的な変換ネットワークを訓練する。
• 特徴の暗黙的学習を通じて、遮蔽または過飽和領域における欠落したHDR詳細を学習する。
• 明示的なアライメントやワープ処理は実行されず、動き推定による誤差伝搬を低減する。
• 色の忠実度と構造的詳細を保持するために、知覚的損失と再構成損失を用いてエンドツーエンドで訓練する。
• 完全遮蔽や極端な露出状態であっても、妥当なHDRコンテンツの自動回復が可能になる。

実験結果

リサーチクエスチョン

• RQ1 大規模な前景の動きを伴う動的シーンにおけるHDR再構成は、光学フロー推定に依存せずに効果的に達成可能か？
• RQ2 ディープラーニングモデルは、過飽和または完全遮蔽領域において、妥当なHDR詳細をどれほど正確に補完できるか？
• RQ3 エンドツーエンドの画像変換アプローチは、色のアーチファクトと幾何的歪みの低減において、フローに基づく画像合成をどれほど上回るか？
• RQ4 複雑な動きモデリングを伴わずに、シンプルなネットワークアーキテクチャが最先端のHDR結果を達成できるか？

主な発見

• 提案手法は、既存の最先端手法と比較して、色のアーチファクトと幾何的歪みを顕著に低減した。
• ネットワークは、完全遮蔽、過飽和、露出不足の領域においても、妥当なHDR詳細を成功裏に補完した。
• 光学フロー推定を排除することで、特に大規模な変位が生じる領域において、動き関連の誤差を回避した。
• エンドツーエンドの訓練スキームにより、多様な動的シーンにおいてよりロバストで一貫性のあるHDR再構成が実現した。
• 定量的および定性的な評価により、視覚的品質と構造的忠実度の両面で優れた性能が確認された。
• 明示的な動きモデリングやアライメントステップを伴わず、最先端の結果を達成した。