[論文レビュー] Low-Light Video Enhancement with Synthetic Event Guidance

Lin Liu, Junfeng An+7 more|arXiv (Cornell University)|Aug 23, 2022

Image Enhancement Techniques被引用数 5

ひとこと要約

本論文は、合成イベントを用いて復元をガイドする三段階の低照度動画増強フレームワークを提案する。Event and Image Fusion Transform (EIFT) と Event-Guided Dual Branch (EGDB) モジュールを用い、極端な低照度または高速運動条件下でも、ノイズ低減、ディテールの保持、マルチフレーム統合アーチファクトの低減を効果的に行う。実データおよび合成データの両方の低照度動画データセットにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Low-light video enhancement (LLVE) is an important yet challenging task with many applications such as photographing and autonomous driving. Unlike single image low-light enhancement, most LLVE methods utilize temporal information from adjacent frames to restore the color and remove the noise of the target frame. However, these algorithms, based on the framework of multi-frame alignment and enhancement, may produce multi-frame fusion artifacts when encountering extreme low light or fast motion. In this paper, inspired by the low latency and high dynamic range of events, we use synthetic events from multiple frames to guide the enhancement and restoration of low-light videos. Our method contains three stages: 1) event synthesis and enhancement, 2) event and image fusion, and 3) low-light enhancement. In this framework, we design two novel modules (event-image fusion transform and event-guided dual branch) for the second and third stages, respectively. Extensive experiments show that our method outperforms existing low-light video or single image enhancement approaches on both synthetic and real LLVE datasets.

研究の動機と目的

• 強いノイズや動きの影響により生じる低照度動画増強（LLVE）におけるマルチフレーム統合アーチファクトの課題に対処する。
• 極端な低照度または高運動状態において、従来のフレームベースのアライメント手法に見られる限界を克服する。
• 従来の動画フレームから得られる合成イベントを用い、高ダイナミックレンジかつ低遅延のガイダンスを提供する。
• 三段階パイプラインにおいて、強化されたイベントを教師信号として用いることで、ノイズ抑制とディテール回復を向上させる。
• イベント特徴と画像特徴を効果的に統合し、グローバルおよびローカル領域を適応的に処理するための新規モジュール（EIFTおよびEGDB）を開発する。

提案手法

• 事前学習済みのイベント生成モデルを用いて、低照度動画フレームから現実的で時間的に整合性のあるイベントボクセルを合成する。
• 第一段階として、イベント復元ネットワークを適用し、低照度イベントボクセルのノイズ低減と色ずれの是正を図りつつ、動きのディテールを保持する。
• イベントと画像特徴をクロスチャネル変換および要素ごとの乗算を用いて動的に統合する「Event and Image Fusion Transform (EIFT)」モジュールを設計する。
• イベントによって生成されたマスクを用いて、画像をグローバル（トランスフォーマー基盤）およびローカル（リーマンス）の二本のブランチに分割する「Event-Guided Dual Branch (EGDB)」モジュールを導入する。
• 強化されたイベントボクセルを用いて空間マスクを生成し、EGDBモジュールが静的領域と動的領域を区別して的確に強化できるようにガイドする。
• エンドツーエンドの三段階パイプラインを訓練する：イベント合成／復元 → イベント・画像統合（EIFT経由） → 低照度増強（EGDB経由）。PSNR、SSIM、LPIPSを最適化する。

実験結果

リサーチクエスチョン

• RQ1 極端な照明条件や運動状態下でも、合成イベントは低照度動画増強におけるマルチフレーム統合アーチファクトを効果的に軽減できるか？
• RQ2 従来のフレームベースのアライメントと比較して、イベント誘導統合は画像ディテールの保持とノイズ低減においてどのように優れているか？
• RQ3 提案されたEIFTおよびEGDBモジュールは、ベースラインアーキテクチャに比べて、低照度動画増強の性能をどの程度向上させるか？
• RQ4 教師なしで、イベント誘導増強は実世界の低照度動画に一般化可能か？
• RQ5 既存手法と比較して、イベントベースのガイダンスは白平衡および色再現性の向上に寄与するか？

主な発見

• SDSDデータセットにおいて、本手法はPSNR 25.81、SSIM 0.80、LPIPS 0.126を達成し、SDSDNet や KinD++ を含む最先端手法を上回る性能を発揮した。
• アブレーションスタディの結果、EIFTモジュールを除去するとPSNRが0.29dB低下し、特徴統合におけるその有効性が示された。
• EGDBモジュールは顕著な貢献を示している：グローバルブランチを除去するとPSNRが0.47dB低下し、ローカルブランチを除去すると0.39dB低下した。
• イベントガイダンスは不可欠であることが確認された：イベントガイダンスを除去するとPSNRが1.54dB低下し、アーチファクト抑制と忠実度向上におけるその役割が裏付けられた。
• Loli-Phone 実世界データセットにおいて、本手法はMBLLVEN、RRDNet、SMOIDと比較して、よりシャープな結果を生成し、色アーチファクトが少なく、白バランスが優れている。
• 視覚的結果から、復元されたイベントボクセルは著しくノイズと色ずれが低減されており、動きやテクスチャディテールの再構成が向上していることが確認された。