[論文レビュー] HDR Reconstruction from Bracketed Exposures and Events

Richard A. Shaw, Sibi Catley-Chandar+2 more|arXiv (Cornell University)|Mar 28, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、神経モルフィックカメラからのブレケット化LDR画像とイベントストリームを融合することで、単一モodalな手法の限界を克服する、エンドツーエンドの学習ベースのHDR再構成手法を提案する。アテンションベースの特徴融合、マルチスケール空間アライメント、自己教師付きイベントから画像への特徴蒸留モジュールを用いることで、最先端の性能を達成し、HdM HDRデータセットにおいて従来手法に比べPSNR-Lで2dB、PSNR-μで1dBの向上を達成した。

ABSTRACT

Reconstruction of high-quality HDR images is at the core of modern computational photography. Significant progress has been made with multi-frame HDR reconstruction methods, producing high-resolution, rich and accurate color reconstructions with high-frequency details. However, they are still prone to fail in dynamic or largely over-exposed scenes, where frame misalignment often results in visible ghosting artifacts. Recent approaches attempt to alleviate this by utilizing an event-based camera (EBC), which measures only binary changes of illuminations. Despite their desirable high temporal resolution and dynamic range characteristics, such approaches have not outperformed traditional multi-frame reconstruction methods, mainly due to the lack of color information and low-resolution sensors. In this paper, we propose to leverage both bracketed LDR images and simultaneously captured events to obtain the best of both worlds: high-quality RGB information from bracketed LDRs and complementary high frequency and dynamic range information from events. We present a multi-modal end-to-end learning-based HDR imaging system that fuses bracketed images and event modalities in the feature domain using attention and multi-scale spatial alignment modules. We propose a novel event-to-image feature distillation module that learns to translate event features into the image-feature space with self-supervision. Our framework exploits the higher temporal resolution of events by sub-sampling the input event streams using a sliding window, enriching our combined feature representation. Our proposed approach surpasses SoTA multi-frame HDR reconstruction methods using synthetic and real events, with a 2dB and 1dB improvement in PSNR-L and PSNR-mu on the HdM HDR dataset, respectively.

研究の動機と目的

• 従来のLDRカメラを用いたマルチフレームHDR再構成において、動きアーチファクトや過剰露出の問題を解決すること。
• 色の欠如や空間分解能の低さといった、イベントのみのHDR手法の限界を克服すること。
• ブレケット化LDR画像（色、微細なディテール）とイベントデータ（高時間分解能、ダイナミックレンジ）の補完的利点を統合的フレームワークで統合すること。
• 中間の強度画像を必要としない、自己教師付きの特徴蒸留メカニズムを構築し、イベント特徴を画像特徴空間に変換すること。
• マルチスケールでスライディングウィンドウを用いたイベントサブサンプリングと空間アライメントにより、動的かつ過剰露出シーンにおけるHDR再構成のロバスト性を向上させること。

提案手法

• フレームワークは、クロスアテンション機構を用いて、ブレケット化LDR画像とイベントストリームの特徴を特徴空間で統合するエンドツーエンドのディープラーニングアーキテクチャを採用する。
• マルチスケール空間アライメントモジュールは、スライディングウィンドウによるイベントサブサンプリング戦略を活用し、イベントの高時間分解能を活かしてイベント特徴と画像特徴をアライメントする。
• イベントから画像への特徴蒸留モジュールは、対応するLDR特徴からの自己教師付き学習により、イベント特徴を画像特徴空間に変換する。これにより中間の強度画像の必要性が排除される。
• モデルは合成データおよび実世界データ上でエンドツーエンドで訓練され、PSNR-LおよびPSNR-μの指標を最適化する損失関数が使用される。
• イベントストリームは時間的スライディングウィンドウ処理を経て、高周波数の動きの手がかりが抽出され、時間的領域における特徴表現が豊かにされる。
• 最終的なHDR出力は、統合済みでアライメント済みかつ蒸留された特徴を精錬ヘッドを介して組み合わせることで生成される。

実験結果

リサーチクエスチョン

• RQ1 ブレケット化LDR画像とイベントデータを統合することで、単一モダリティ手法に比べ、動的かつ過剰露出シーンにおけるHDR再構成が向上するか？
• RQ2 強度ベースの監視に依存せずに、イベント特徴を画像特徴空間に効果的に変換する方法は何か？
• RQ3 スライディングウィンドウを用いたイベントストリームのサブサンプリングは、時間分解能の活用と特徴アライメントの向上に寄与するか？
• RQ4 LDR特徴からの自己教師付き蒸留により、イベントベースの特徴表現がHDR再構成において向上するか？
• RQ5 LDRとイベントデータのマルチモーダル統合は、画像のみまたはイベントのみのベースラインに比べ、PSNRおよび視覚的品質の点で優れているか？

主な発見

• 提案手法は、HdM HDRデータセットにおいて、最先端のマルチフレームHDR手法に比べPSNR-Lで2dB、PSNR-μで1dBの向上を達成した。
• アブレーションスタディにより、イベントサブサンプリング、アライメント、イベントから画像への蒸留という各モジュールが性能向上に寄与していることが確認され、フルモデルが最良の結果をもたらした。
• 動きや過剰露出が生じるシーンでは、従来手法がゴーストアーチファクトやアライメントミスを起こす中、本手法はイベントのみや単一LDR手法を上回った。
• 自己教師付きのイベントから画像への特徴蒸留モジュールにより、強度画像を必要とせず効果的な特徴変換が可能になり、ロバスト性とディテール回復が向上した。
• 視覚的結果では、空の移行部や点滅する光源のような領域においても、エッジやテクスチャといった高周波数ディテールが優れた保持が確認された。
• 静的シーンでは画像のみのSoTA手法（例：ADNet）と同等の性能を示し、シーンの動的変化にわたるロバスト性を確認した。