[論文レビュー] LAN-HDR: Luminance-based Alignment Network for High Dynamic Range Video Reconstruction

Haesoo Chung, Nam Ik Cho|arXiv (Cornell University)|Aug 22, 2023

Advanced Vision and ImagingComputer Science被引用数 3

ひとこと要約

本稿では、露出が飽和している領域や高速で動く領域における光学フローに基づく動き補償の限界を克服するため、動き補正に明度に基づくアテンション機構を導入し、飽和領域の詳細回復にゲート付き畳み込みモジュールを用いるエンドツーエンドのHDR動画再構成フレームワーク、LAN-HDRを提案する。アラインメント済み特徴量とホールーシェーション特徴量をアダプティブブレンド層で融合し、時間的整合性損失を適用することで、最先端の手法と比較して優れた視覚的品質と、より少ないフレイクイングを実現した。

ABSTRACT

As demands for high-quality videos continue to rise, high-resolution and high-dynamic range (HDR) imaging techniques are drawing attention. To generate an HDR video from low dynamic range (LDR) images, one of the critical steps is the motion compensation between LDR frames, for which most existing works employed the optical flow algorithm. However, these methods suffer from flow estimation errors when saturation or complicated motions exist. In this paper, we propose an end-to-end HDR video composition framework, which aligns LDR frames in the feature space and then merges aligned features into an HDR frame, without relying on pixel-domain optical flow. Specifically, we propose a luminance-based alignment network for HDR (LAN-HDR) consisting of an alignment module and a hallucination module. The alignment module aligns a frame to the adjacent reference by evaluating luminance-based attention, excluding color information. The hallucination module generates sharp details, especially for washed-out areas due to saturation. The aligned and hallucinated features are then blended adaptively to complement each other. Finally, we merge the features to generate a final HDR frame. In training, we adopt a temporal loss, in addition to frame reconstruction losses, to enhance temporal consistency and thus reduce flickering. Extensive experiments demonstrate that our method performs better or comparable to state-of-the-art methods on several benchmarks.

研究の動機と目的

• 露出が飽和している領域や高速で動く領域において、光学フローに基づく動き補償の限界を解消すること。
• カラーデータの代わりに明度特徴を活用することで、コンテンツベースのマッチングに寄与する明度特徴を用いたアライメント精度の向上。
• 露出飽和によってぼやけた領域のシャープな詳細を回復するため、明度に適応する畳み込みを用いる。
• 新規の時間的整合性損失を導入することで、再構成されたHDR動画の時間的整合性を確保すること。

提案手法

• アライメントモジュールは二重パスアーキテクチャを採用し、参照フレームと隣接フレームの明度（Y）チャネル間の自己アテンションによりコンテンツベースの特徴アライメントを実行する。
• ホールーシェーションモジュールは、明度に基づくマスクを用いたゲート付き畳み込みを採用し、非常に暗い領域および明るい領域の詳細を適応的に強化する。
• アダプティブブレンド層は、アライメントモジュールとホールーシェーションモジュールからの特徴量を空間的に変化する重みで融合し、信頼性の低い領域を抑制する。
• 効率的なアテンション計算のため、ダウンサンプリングされたYチャネルを用いながら、詳細回復のためのフル解像度入力を保持する。
• 予測値と正解値のフレーム差分の乖離を最小化する時間的損失を導入し、動きの整合性を向上させる。
• 全パイプラインは、フレーム再構成損失と時間的整合性損失を用いてエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 露出が飽和している領域や複雑な動きのシナリオにおいて、光学フローと比較して明度ベースのアテンションが、動きアライメントの正確性を向上させられるか？
• RQ2 明度マスクを用いた適応的ゲート付き畳み込みは、露出過多または露出不足領域の微細な詳細回復にどの程度効果的か？
• RQ3 アダプティブブレンド機構は、アライメントモジュールとホールーシェーションモジュールからの特徴量を効果的に統合し、アーティファクトを低減できるか？
• RQ4 時間的整合性損失は、再構成HDR動画におけるフレイクイングをどの程度低減し、動きのなめらかさを向上させられるか？
• RQ5 ピクセルドメインの光学フローを特徴空間のアテンションに置き換えることで、HDR動画全体の品質が向上するか？

主な発見

• 時間的整合性指標において、本手法はPSNR 38.22、SSIM 0.9100を達成し、時間的損失を含まないベースラインを上回った。
• ホールーシェーションモジュールと明度ベースのマスクを用いることで、PU指標においてPSNR 40.04を達成し、適応的畳み込みを用いないモデルを著しく上回った。
• アブレーションスタディの結果、RGBや色のジャマーデータではなくYチャネルをアテンションに用いることで、最良のアライメント性能が得られた。
• アダプティブブレンド層は、飽和領域におけるぼやけたまたは誤ってアラインされた特徴量を効果的に抑制しており、その領域でのブレンド重みが低かった。
• 時間的損失は、時間的指標におけるPSNRとSSIMの両方を向上させ、フレイクイングの低減と動きの整合性向上の有効性を示した。
• 視覚的比較では、特に挑戦的なシーケンスにおいて、先行研究と比較して動いている領域や飽和領域のテクスチャがよりシャープに再構成された。