[論文レビュー] Low-Light Image and Video Enhancement: A Comprehensive Survey and Beyond

Shen Zheng, Yiling Ma+3 more|arXiv (Cornell University)|Dec 21, 2022

Image Enhancement Techniques被引用数 15

ひとこと要約

本論文は、混合過塗り・未露出の低照度画像を対象とした2つの新しいデータセット（SICE_Grad および SICE_Mix）と、高解像度で多様な低照度動画を収録した Night Wenzhou を紹介するとともに、低照度画像・動画増強（LLIE）手法に関する包括的なサーベイを実施している。最先端技術の評価、主な課題の同定、深層学習に基づく LLIE における今後の研究方向性の提示を通じて、実用的応用性とベンチマーク手法の強化を強調している。

ABSTRACT

This paper presents a comprehensive survey of low-light image and video enhancement, addressing two primary challenges in the field. The first challenge is the prevalence of mixed over-/under-exposed images, which are not adequately addressed by existing methods. In response, this work introduces two enhanced variants of the SICE dataset: SICE_Grad and SICE_Mix, designed to better represent these complexities. The second challenge is the scarcity of suitable low-light video datasets for training and testing. To address this, the paper introduces the Night Wenzhou dataset, a large-scale, high-resolution video collection that features challenging fast-moving aerial scenes and streetscapes with varied illuminations and degradation. This study also conducts an extensive analysis of key techniques and performs comparative experiments using the proposed and current benchmark datasets. The survey concludes by highlighting emerging applications, discussing unresolved challenges, and suggesting future research directions within the LLIE community. The datasets are available at https://github.com/ShenZheng2000/LLIE_Survey.

研究の動機と目的

• 現在の LLIE 手法が不十分に処理している、現実的で混合過塗り・未露出の低照度画像データセットの不足に対処すること。
• 学習および評価のための、大規模かつ高解像度の低照度動画データセットの不足を克服すること。
• LLIE における学習戦略、ネットワークアーキテクチャ、損失関数、評価指標の体系的レビューを提供すること。
• 特に統合タスク（例：物体検出）や悪天候状況における低照度増強の新たな応用と未解決の課題を分析すること。
• 提案済みおよび既存のデータセットを統合した包括的なベンチマークフレームワークを提供し、LLIE 手法の評価と比較を可能にすること。

提案手法

• SICE データセットの拡張版として、勾配および複雑な照度変動を伴う現実的な混合露出シナリオを含む、SICE_Grad および SICE_Mix を提案する。
• 高速な空中・街頭シーンを含み、多様な低照度状況および劣化要因を有する、大規模かつ高解像度の動画データセット Night Wenzhou を導入する。
• LLIE における学習戦略を階層的分類法で分類し、教師あり、教師なし、半教師あり、ゼロショット学習のアプローチに分類する。
• ベンチマークおよび提案済みデータセット上で広範な比較実験を実施し、さまざまな LLIE 手法および損失関数の性能を評価する。
• LLIE パipラインの主要な構成要素（例：U-Net、マルチスケール、アテンションベースのアーキテクチャ）、損失関数（例：L2、知覚的、VGGベース）、評価指標（例：PSNR、SSIM、NIQE、LPIPS）を分析する。
• 物体検出との統合的増強、近赤外（NIR）イメージング、ノイズモデリング、悪天候状況の影響といった、新たなトレンドを調査する。

実験結果

リサーチクエスチョン

• RQ1 現在の LLIE 手法は、混合過塗り・未露出画像に対してどのように性能を発揮するか。また、既存のデータセットにどのような制限があるか。
• RQ2 効果的な低照度動画増強モデルを開発するにあたり、主な課題は何か。また、より良いデータによってこれらの課題はどのように解決できるか。
• RQ3 教師あり、ゼロショット、教師なしの各学習戦略は、現実の低照度データに対して性能と一般化能力の観点でどのように比較されるか。
• RQ4 自然な外観と詳細を保持しつつ、低照度画像・動画を増強するための最も効果的なネットワークアーキテクチャと損失関数は何か。
• RQ5 統合的増強と検出、NIR イメージング、ノイズモデリングは、LLIE システムのロバスト性と現実世界への適用性をどのように向上できるか。

主な発見

• 提案された SICE_Grad および SICE_Mix データセットは、複雑な露出変動を効果的に捉えており、既存の LLIE 手法が混合露出シーンで顕著な性能低下を示すことを明らかにした。
• Night Wenzhou 動画データセットは、高速な動きと変動する照度を特徴とする、高解像度で動的な低照度動画増強のための挑戦的なベンチマークを提供している。
• 教師あり学習手法はベンチマークデータセットで最先端の性能を達成しているが、未観測の複雑な低照度状況への一般化能力には限界がある。
• ゼロショットおよび教師なし手法は一般化能力に優れているが、標準ベンチマーク上では教師ありモデルに比べて定量的指標で劣ることが多い。
• 照度割り当てを用いた統合的増強・検出アーキテクチャは、低照度物体検出において、低照度特化のアノテーションを必要とせずに性能向上を示した。
• 近赤外（NIR）イメージング技術は、フラッシュ不要でノイズの少ない増強に有望であるが、最適な結果を得るためには RGB-NIR の同期キャプチャと高度な融合アルゴリズムが必要である。