[論文レビュー] Semantic-Guided Zero-Shot Learning for Low-Light Image/Video Enhancement

Shen Zheng, Gaurav Gupta|arXiv (Cornell University)|Oct 3, 2021

Image Enhancement Techniques被引用数 11

ひとこと要約

本稿では、ペairedデータ、アンペアドデータセット、セグメンテーションアノテーションが一切不要な、セマンティックガイドドゼロショット低照度画像・動画増強ネットワーク（SGZ）を提案する。強化要因抽出ネットワーク、再帰的画像増強モジュール、非教師付きセマンティックセグメンテーションヘッドを用いることで、視認性の質が最先端であり、物体検出やセグメンテーションなどの下流タスクにおいても優れた性能を達成する。モデルサイズはわずか0.011Mパラメータ、1枚あたりの推論時間は0.001秒である。

ABSTRACT

Low-light images challenge both human perceptions and computer vision algorithms. It is crucial to make algorithms robust to enlighten low-light images for computational photography and computer vision applications such as real-time detection and segmentation. This paper proposes a semantic-guided zero-shot low-light enhancement network (SGZ) which is trained in the absence of paired images, unpaired datasets, and segmentation annotation. Firstly, we design an enhancement factor extraction network using depthwise separable convolution for an efficient estimate of the pixel-wise light deficiency of an low-light image. Secondly, we propose a recurrent image enhancement network to progressively enhance the low-light image with affordable model size. Finally, we introduce an unsupervised semantic segmentation network for preserving the semantic information during intensive enhancement. Extensive experiments on benchmark datasets and a low-light video demonstrate that our model outperforms the previous state-of-the-art. We further discuss the benefits of the proposed method for low-light detection and segmentation. Code is available at https://github.com/ShenZheng2000/Semantic-Guided-Low-Light-Image-Enhancement

研究の動機と目的

• ペアド画像、アンペアドデータセット、セグメンテーションアノテーションを必要とする従来の低照度増強手法の制限を克服すること。
• 特にリアルタイムおよびモバイルアプリケーションに適した、低照度画像・動画増強における視認性の質とロバスト性を向上させること。
• 物体検出やセマンティックセグメンテーションなどの下流コンピュータビジョンタスクに有益な高レベルのセマンティック情報を増強過程で保持すること。
• リソース制約のあるデバイスへのデプロイに適した、軽量で効率的なモデルの開発

提案手法

• 低照度画像における画素単位の照度不足を推定するため、ディープワイド分離畳み込みと対称的スキップ接続を用いた強化要因抽出（EFE）ネットワーク。
• 複数の再帰的段階をスタックして画像を段階的に増強する再帰的画像増強（RIE）ネットワーク。直前の出力を次の段階の入力として使用。
• 特徴マップのピラミッド構造を活用し、教師なしでセグメンテーション損失を計算する非教師付きセマンティックセグメンテーション（USS）ネットワーク。セマンティック情報の保持を支援。
• 非参照画像品質指標とセグメンテーション損失を組み合わせた総損失関数。EFEネットワークの学習に使用され、RIEおよびUSSは学習中に重みが固定される。
• EFEがRIEおよびUSSの損失に基づいてバックプロパゲーションで更新されるエンドツーエンドの学習。ペアドデータやアノテーションが不要なゼロショット学習を実現。
• 推論時、EFEとRIEを順次使用して低照度画像を増強。低遅延かつ最小限のパラメータ数を実現。

実験結果

リサーチクエスチョン

• RQ1 ペアドトレーニングデータに依存しない低照度増強モデルは、高い視認性の質を達成できるか？
• RQ2 セグメンテーションアノテーションが存在しない状況でも、セマンティック情報をどのように増強中に保持できるか？
• RQ3 軽量で効率的なアーキテクチャは、画像品質および下流ビジョンタスクにおいて、従来のSOTA手法を上回ることができるか？
• RQ4 セマンティックガイドド増強は、低照度条件下での物体検出およびセマンティックセグメンテーションの性能をどの程度向上させるか？

主な発見

• ユーザースタディでは5段階スケールで4.04のスコアを達成し、Zero-DCE（2.60）やEnlightenGAN（2.94）といった先行手法を顕著に上回った。
• DarkBDDデータセットでは、物体検出性能が向上し、Zero-DCE や KinD を含むすべてのベースラインより多くの車両を検出できた。
• DarkCityScapeデータセットでは、mIOUが65.87%、mPAが74.50%を達成し、比較されたすべての手法を上回るセマンティックセグメンテーションの正確性を示した。
• 1枚あたり0.001秒で処理可能で、パラメータ数は0.011M、FLOPsは0.120Bにとどまり、モバイルおよびリアルタイムアプリケーションに非常に効率的である。
• LIMEおよびVVデータセットにおける可視化比較では、本手法が暗い領域を効果的に増強し、色バランスを維持し、他の手法で見られるノイズ、ぼやけ、アーチファクトを回避していることが確認された。
• 失敗事例として、強いモーショーブラーとミラー反射はモデルが解消できないことが判明し、複雑な光学的歪みの処理における現在の限界を示している。