[論文レビュー] Low-Light Image and Video Enhancement Using Deep Learning: A Survey

Chongyi Li, Chunle Guo+5 more|arXiv (Cornell University)|Apr 21, 2021

Image Enhancement Techniques参考文献 17被引用数 30

ひとこと要約

この調査は、深層学習ベースの低照度画像・映像の強化手法、データセット、損失、プラットフォームをレビューし、新しいデータセットとオンライン評価プラットフォームを紹介します。

ABSTRACT

Low-light image enhancement (LLIE) aims at improving the perception or interpretability of an image captured in an environment with poor illumination. Recent advances in this area are dominated by deep learning-based solutions, where many learning strategies, network structures, loss functions, training data, etc. have been employed. In this paper, we provide a comprehensive survey to cover various aspects ranging from algorithm taxonomy to open issues. To examine the generalization of existing methods, we propose a low-light image and video dataset, in which the images and videos are taken by different mobile phones' cameras under diverse illumination conditions. Besides, for the first time, we provide a unified online platform that covers many popular LLIE methods, of which the results can be produced through a user-friendly web interface. In addition to qualitative and quantitative evaluation of existing methods on publicly available and our proposed datasets, we also validate their performance in face detection in the dark.This survey together with the proposed dataset and online platform could serve as a reference source for future study and promote the development of this research field. The proposed platform and dataset as well as the collected methods, datasets, and evaluation metrics are publicly available and will be regularly updated.

研究の動機と目的

• 深層学習ベースの LLIE（Low-Light Image Enhancement）手法に用いられる学習戦略、ネットワークアーキテクチャ、損失関数、データセットを調査する。
• 実世界の低照度条件への一般化を分析し、未解決の問題を特定する。
• クロスデバイス照明を含む新しい低照度画像/映像データセットと、評価用のオンラインプラットフォームを導入する。
• LLIE研究を推進しベンチマークを促進するためのガイドラインと洞察を提供する。

提案手法

• LLIE手法を学習戦略（ supervised、reinforcement、unsupervised、zero-shot、semi-supervised ）で分類する。
• 代表的なエンドツーエンド、深層Retinexベース、現実データ駆動の監視付きアプローチを論じる。
• 照明成分と反射成分を推定するRetinex風およびその他のネットワーク設計を説明する。
• 実世界でのクロスデバイスLLIEデータセットと映像LLIEデータセットを提示し、該当する場合には semi-supervised および zero-shot アプローチを併記する。
• 入力画像に対して複数のLLIE手法をGPU不要で評価できる、ユーザーフレンドリーなオンラインプラットフォームを導入する。
• よく用いられる損失関数（ reconstruction、perceptual、smoothness、adversarial、exposure）とデータ形式（RGBとraw）を要約する。

実験結果

リサーチクエスチョン

• RQ1 深層学習LLIE手法は実世界のクロスデバイス低照度データにどれだけ一般化できるか？
• RQ2 多様な条件で堅牢なLLIE性能をもたらす学習戦略、ネットワーク設計、損失関数はどれか？
• RQ3 Retinexベースのモデルは実務上の利点を提供するか、深層ネットワークと組み合わせた場合の制限は何か？
• RQ4 統一されたオンラインプラットフォームと多様なデータセットはLLIE研究とベンチマーキングを加速できるか？

主な発見

• 監督付き学習が主流のアプローチであり、分析対象の手法の73%を占める。
• ネットワーク構造の混在が用いられ、U-Net風およびマルチブランチアーキテクチャが一般的で、Retinex風設計が広く探求されている。
• RGBが支配的なデータ形式だが、高ダイナミックレンジと色忠実度の改善にはrawデータが有用である。
• 一般的な損失にはL1/L2、SSIM、perceptual、smoothnessが含まれ、exposure lossのような非参照損失は一般化にとって重要である。
• 実世界データセット（例：SID、DRV、MIT-Adobe FiveK）と総合的な一般化を改善するための合成データ戦略が議論され、ベンチマークとしてオンラインプラットフォームと新しいクロスデバイスLLIEデータセットが紹介されている。
• 本調査は暗所での顔検出で手法を検証し、LLIEが高レベルビジョンタスクに与える影響を強調している。