[論文レビュー] HDR Video Reconstruction with Tri-Exposure Quad-Bayer Sensors

Yitong Jiang, Inchang Choi+2 more|arXiv (Cornell University)|Mar 19, 2021

Image Enhancement Techniques参考文献 38被引用数 11

ひとこと要約

本論文は、フレーム全体にわたる空間的に一様な露出サンプリングを可能にする三露出クアッドベイヤー・センサを用いた、高ダイナミックレンジ（HDR）動画再構成のための新しい深層学習フレームワークを提案する。この手法は、HDR特徴統合、アテンションベースの時系列ノイズ除去、ゲート付きスーパーレゾリューションを組み合わせたモジュラーネットワークを採用し、動きぼけ、ノイズ、空間アーチファクトを軽減する。特に、過剰露出領域と過小露出領域の寄与をバランスさせる新規なLDR再構成損失を組み合わせることで、高いダイナミックレンジと動きを伴う困難なシーンにおいて、最先端の結果を達成した。

ABSTRACT

We propose a novel high dynamic range (HDR) video reconstruction method with new tri-exposure quad-bayer sensors. Thanks to the larger number of exposure sets and their spatially uniform deployment over a frame, they are more robust to noise and spatial artifacts than previous spatially varying exposure (SVE) HDR video methods. Nonetheless, the motion blur from longer exposures, the noise from short exposures, and inherent spatial artifacts of the SVE methods remain huge obstacles. Additionally, temporal coherence must be taken into account for the stability of video reconstruction. To tackle these challenges, we introduce a novel network architecture that divides-and-conquers these problems. In order to better adapt the network to the large dynamic range, we also propose LDR-reconstruction loss that takes equal contributions from both the highlighted and the shaded pixels of HDR frames. Through a series of comparisons and ablation studies, we show that the tri-exposure quad-bayer with our solution is more optimal to capture than previous reconstruction methods, particularly for the scenes with larger dynamic range and objects with motion.

研究の動機と目的

• 従来のHDR動画手法の限界（動きによるゴースト化、短い露出によるノイズ、空間アーチファクト）を、空間的に一様な三露出サンプリングを実現する新しいセンサアーキテクチャを活用することで解消すること。
• アテンションモジュールとスーパーレゾリューションモジュールを備えたモジュラーディープラーニングネットワークを設計することで、HDR動画再構成における時間的整合性を向上させ、アーチファクトを低減すること。
• 過剰露出領域と過小露出領域の両方からの寄与をバランスさせる新しいLDR再構成損失を開発し、HDR出力全体の品質を向上させること。

提案手法

• フレーム全体にわたって長時間露光、中程度露光、短時間露光を空間的に一様に配分する三露出クアッドベイヤー・センサを導入し、インターリーブ型やバーストベースの手法と比較して空間アーチファクトを低減する。
• HDR特徴統合モジュール（動きに強いHDR推定）、アテンションベースの時系列ノイズ除去モジュール（複数フレームのノイズ低減）、ゲート付きスーパーレゾリューションモジュール（アーチファクトと解像度の回復）を有するモジュラーネットワークアーキテクチャを設計する。
• HDR出力における過剰露出ピクセルと過小露出ピクセルの寄与を等しく重みづける新規なLDR再構成損失関数を採用し、ダイナミックレンジの極端な領域に対してもロバスト性を向上させる。
• スーパーレゾリューションモジュールの入力として、サブサンプリング済みおよび元のクアッドベイヤー画像をスタックして入力し、より良い特徴抽出と解像度向上を実現する。
• LDR再構成損失を用いたエンドツーエンドのトレーニングを実施し、ネットワークを視覚的品質とダイナミックレンジの保持に最適化する。
• アテンション、ゲーティング、複数フレーム入力の有無を比較するアブレーションスタディを通じて、アーキテクチャの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 フレーム全体にわたる空間的に一様な露出サンプリングを実現する三露出クアッドベイヤー・センサは、従来のSVEやバーストベースのHDR手法と比較して、空間アーチファクトとノイズを低減できるか？
• RQ2 HDR統合、時系列ノイズ除去、スーパーレゾリューションのモジュラー構成を持つディープラーニングネットワークは、HDR動画における動きぼけと時間的不安定性をどれほど効果的に軽減できるか？
• RQ3 過剰露出領域と過小露出領域からの寄与をバランスさせる新規なLDR再構成損失は、HDR再構成の品質とロバスト性を向上させるか？
• RQ4 複数フレーム入力とゲート付きスーパーレゾリューションの影響は、HDR動画再構成における解像度回復とアーチファクト抑制にどのような効果をもたらすか？
• RQ5 高ダイナミックレンジと動きを伴うシーンにおいて、本手法は定量的・定性的に、既存のHDR動画技術と比較してどのように優れているか？

主な発見

• 複数フレーム入力とLDR再構成損失を組み合わせた本手法（Multi+LDR）は、PSNR-μ（36.42）、PuPSNR（42.45）、HDR-VDP（48.47）、HDR-VQM（0.9247）の最高値を達成し、すべてのアブレーションバリアントを上回った。
• GSR+ORネットワーク（ゲート付きスーパーレゾリューションモジュールに元のクアッドベイヤー入力を使用）は、PSNR-μ（36.06）とHDR-VDP（48.47）で最高を記録し、フル解像度特徴抽出の利点を示した。
• アテンションベースの時系列ノイズ除去モジュールは、暗い領域や過飽和領域におけるノイズとアーチファクトを顕著に低減し、ベースラインモデルと比較してPSNRと視覚的品質が向上した。
• LDR再構成損失を用いることで、ノイズが多く、ダイナミックレンジが極端なシーンでもよりロバストな性能を発揮し、複数フレーム入力でのHDR-VDPがTM損失ベースラインから0.43ポイント向上した。
• ゲート付きスーパーレゾリューションモジュールは、単純なスーパーレゾリューションモジュールを上回り、PSNR-μは0.81ポイント、HDR-VDPは0.25ポイント向上し、アーチファクト低減の有効性を確認した。
• アブレーションスタディにより、HDR統合にアテンション、時系列ノイズ除去、ゲート付きスーパーレゾリューションの各モジュールが、独立してかつ累積的に最終的な性能向上に寄与していることが確認された。