[論文レビュー] ADNet: Attention-guided Deformable Convolutional Network for High Dynamic Range Imaging

Zhen Liu, Wenjie Lin+7 more|arXiv (Cornell University)|May 22, 2021

Image Enhancement Techniques参考文献 36被引用数 7

ひとこと要約

ADNet は、手持ちのマルチフレーム HDR 影像におけるノイズとゴーストを抑制し、融合精度を向上させるために、LDR 画像に空間的アテンションモジュールを適用し、ガンマ補正された画像にピラミッド・カスケading・デフォーマブル（PCD）アライメントモジュールを用いた二重ブランチの注意誘導型可変畳み込みニューラルネットワークを提案する。NTIRE 2021 チャレンジにおいて、PSNR-ℓ が 39.4471、PSNR-μ が 37.6359 という最先端の性能を達成した。

ABSTRACT

In this paper, we present an attention-guided deformable convolutional network for hand-held multi-frame high dynamic range (HDR) imaging, namely ADNet. This problem comprises two intractable challenges of how to handle saturation and noise properly and how to tackle misalignments caused by object motion or camera jittering. To address the former, we adopt a spatial attention module to adaptively select the most appropriate regions of various exposure low dynamic range (LDR) images for fusion. For the latter one, we propose to align the gamma-corrected images in the feature-level with a Pyramid, Cascading and Deformable (PCD) alignment module. The proposed ADNet shows state-of-the-art performance compared with previous methods, achieving a PSNR-$l$ of 39.4471 and a PSNR-$μ$ of 37.6359 in NTIRE 2021 Multi-Frame HDR Challenge.

研究の動機と目的

• 手持ちのマルチフレーム HDR 影像におけるノイズ、過飽和、ずれの課題に対処すること。
• 異なる露出の LDR 画像から信頼性の高い領域を適応的に選択することで、統合品質を向上させること。
• 特徴レベルでの変形を活用して、動きやジャイロスコープによるずれを伴う動的シーンのアライメントを向上させること。
• LDR 画像とガンマ補正画像を均一に扱う従来の学習ベースの手法よりも優れた性能を発揮すること。
• ゴーストやぼやけが生じない高品質な HDR 再構成を達成すること。

提案手法

• LDR 画像とそのガンマ補正された対応画像の処理を分離する二重ブランチのネットワークアーキテクチャを採用する。
• LDR 画像に空間的アテンションモジュールを適用し、過飽和またはノイズの多い領域を動的に抑制し、適切に露出された領域に注目を向ける。
• ガンマ補正された画像のアライメントに、ピラミッド・カスケーディング・デフォーマブル（PCD）アライメントモジュールを用い、動きやジャイロスコープに強く頑健な複数の特徴レベルでのアライメントを実現する。
• PCD モジュールにより、非一様なサンプリングオフセットを学習することで、特徴レベルでの正確なアライメントが可能となり、ずれアーチファクトが低減される。
• 両ブランチからの特徴を統合ネットワークを介して融合し、高品質な HDR 出力を再構成する。
• テスト時増強（TTA）を適用し、元の画像に加え、並べ替え済みおよび反転した画像の4つのバージョンを用いることで、耐性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 LDR 画像とガンマ補正画像を別々に処理する二重ブランチのネットワーク設計は、HDR 再構成品質の向上に寄与するか？
• RQ2 LDR 画像に空間的アテンションモジュールを適用することで、統合プロセスにおける過飽和およびノイズ領域の抑制が向上するか？
• RQ3 ガンマ補正された特徴に PCD アライメントモジュールを適用することで、従来のオプティカルフローまたはグローバルホモロジーに比べ、動きやずれの処理が優れているか？
• RQ4 提案手法は、先行する学習ベースの HDR 手法と比較してゴーストとノイズアーチファクトを低減するか？
• RQ5 別々の処理を施す二重ブランチ設計は、入力の均一な連結と比較して、PSNR と視覚的品質をどの程度向上させるか？

主な発見

• ADNet は NTIRE 2021 マルチフレーム HDR チャレンジにおいて、PSNR-ℓ が 39.4471、PSNR-μ が 37.6359 を達成し、従来の最先端手法を上回った。
• 特に過飽和または動きが生じる領域において、ゴーストとノイズアーチファクトが顕著に低減されており、AHDRNet との定性的比較で明確に示された。
• 空間的アテンションモジュールは、過露出および未露出領域を効果的に抑制し、注目マップの可視化から適切に露出された領域に集中していることが確認された。
• PCD アライメントモジュールにより、特徴レベルでのアライメントが向上し、特に複雑な動きに対して優れた性能を示し、単一スケールの可変畳み込みベースラインと比較して PSNR-ℓ で 1.2 dB の向上を達成した。
• アブレーションスタディにより、別々のアテンションとアライメントモジュールを備えた二重ブランチ設計が、単一ブランチの連結構造よりも優れていることが確認され、ベースラインの AHDRNet と比較して PSNR-ℓ で 1.86 dB の向上を示した。
• テスト時増強（TTA）の適用により、さらなる性能向上が得られ、提案アーキテクチャの耐性の高さが裏付けられた。