[論文レビュー] Attention-guided Network for Ghost-free High Dynamic Range Imaging

Qingsen Yan, Dong Gong+5 more|arXiv (Cornell University)|Apr 23, 2019

Image Enhancement Techniques参考文献 31被引用数 15

ひとこと要約

本稿では、光学フロー推定を回避するため、学習可能なアテンションモジュールを用いてマージ過程で不整合な領域や過光量領域を抑制することで、ゴーストのない高動態範囲（HDR）画像再構成を実現するエンドツーエンドのアテンションガイドド深層ニューラルネットワーク、AHDRNetを提案する。本手法は、特徴の階層的強化と受容 field の拡大を図るため、拡張された残差密ブロック（DRDB）を採用し、動きや過光量を伴う動的シーンにおいてゴーストの低減と詳細回復の両面で最先端の性能を達成する。

ABSTRACT

Ghosting artifacts caused by moving objects or misalignments is a key challenge in high dynamic range (HDR) imaging for dynamic scenes. Previous methods first register the input low dynamic range (LDR) images using optical flow before merging them, which are error-prone and cause ghosts in results. A very recent work tries to bypass optical flows via a deep network with skip-connections, however, which still suffers from ghosting artifacts for severe movement. To avoid the ghosting from the source, we propose a novel attention-guided end-to-end deep neural network (AHDRNet) to produce high-quality ghost-free HDR images. Unlike previous methods directly stacking the LDR images or features for merging, we use attention modules to guide the merging according to the reference image. The attention modules automatically suppress undesired components caused by misalignments and saturation and enhance desirable fine details in the non-reference images. In addition to the attention model, we use dilated residual dense block (DRDB) to make full use of the hierarchical features and increase the receptive field for hallucinating the missing details. The proposed AHDRNet is a non-flow-based method, which can also avoid the artifacts generated by optical-flow estimation error. Experiments on different datasets show that the proposed AHDRNet can achieve state-of-the-art quantitative and qualitative results.

研究の動機と目的

• 動的シーンにおける動きのある物体や画像の不整合が原因で生じるゴーストアーティファクトを解消すること。
• 誤差を生じさせたりアーティファクトを拡大する可能性がある光学フロー推定に依存しないこと。
• 微細なディテールを保持し、過光量または不整合な成分を抑制する、フローに依存しない深層学習フレームワークの開発。
• アテンション機構を用いて非参照LDR画像からの補完的特徴を強化することで、HDR画像品質の向上。
• 大規模な動きや重度の過光量を伴う厳しい条件下でも、頑健なHDR再構成を可能にすること。

提案手法

• 提案されたAHDRNetは、非参照LDR画像からの関連する特徴を強調し、ゴーストアーティファクトが生じやすい領域を抑制するためのソフトアテンションマップを生成する新しいアテンションモジュールを採用する。
• アテンション機構により、参照画像に対する特徴の関連性に基づいて動的に重み付けが行われ、動きや過光量に起因する干渉を低減する。
• 階層的特徴の集約と、過光量または遮蔽領域における欠落したディテールの補完のため、受容 field を拡大する目的で拡張された残差密ブロック（DRDB）が採用される。
• ネットワークはフローに依存しない非逐次的アプローチでエンドツーエンドに訓練され、光学フロー推定に起因する誤差や不整合を回避する。
• 入力LDR画像は特徴抽出を経て、アテンションガイドド融合とDRDBベースの精錬処理を経て、最終的なHDR出力を生成する。
• 構造的・色の忠実度を保持する目的で、知覚的損失と再構成損失の組み合わせを用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのHDR手法は、光学フロー推定に依存せずにゴーストのない結果を達成できるか？
• RQ2 アテンション機構は、HDRマージ過程で不整合や過光量領域をどの程度効果的に抑制できるか？
• RQ3 拡張された残差密ブロックは、遮蔽または過光量領域におけるディテール回復をどの程度向上できるか？
• RQ4 本手法は、フローに基づく手法や単一画像HDR手法と比較して、アーティファクト抑制とディテール保持の両面で優れているか？
• RQ5 アテンションガイドド融合機構は、複雑な動きや過光量を伴う多様な動的シーンに一般化可能か？

主な発見

• Kalantari et al. データセットにおいて、PSNR-μ（43.6172）とPSNR-M（33.0429）の両方で、すべての最先端手法を上回る最高のスコアを達成した。
• 光学フロー補正を組み合わせた場合（Ours+OF）、同じ補正手法を用いてもKalantari et al. [15]をわずかに上回るPSNR-μ（43.9764）を達成した。
• 真値がないデータセットにおいても、既存手法と比較して著しくゴーストやノイズ、色ずれが減少した視覚的に優れた結果を生成した。
• アテンション機構により、大規模な動きや過光量領域におけるゴーストアーティファクトが効果的に抑制されたことが、定性的な比較におけるズームインパッチから確認された。
• モデルは優れた一般化性能を示し、入力画像が不整合や過光量領域を含んでも、高品質なHDR出力を生成した。
• 定量的評価では、AHDRNetがHDR-VDP-2スコア（62.3044）で最高を記録し、優れた知覚的品質を示した。