[論文レビュー] Recurrent Exposure Generation for Low-Light Face Detection

Jinxiu Liang, Jingwen Wang+5 more|arXiv (Cornell University)|Jul 21, 2020

Video Surveillance and Tracking Methods参考文献 58被引用数 11

ひとこと要約

本稿では、低照度顔検出のためのエンドツーエンドの検出＋強化フレームワークであるREGDetを提案する。この手法は、双方向ConvGRUを用いて一連の擬似露出画像を合成する再帰的露出生成（REG）モジュールを採用し、その後にマルチ露出検出（MED）モジュールでそれらを統合する。この方法は、パrameter数のわずかな増加でDARK FACEベンチマークにおいて最先端の性能を達成した。

ABSTRACT

Face detection from low-light images is challenging due to limited photos and inevitable noise, which, to make the task even harder, are often spatially unevenly distributed. A natural solution is to borrow the idea from multi-exposure, which captures multiple shots to obtain well-exposed images under challenging conditions. High-quality implementation/approximation of multi-exposure from a single image is however nontrivial. Fortunately, as shown in this paper, neither is such high-quality necessary since our task is face detection rather than image enhancement. Specifically, we propose a novel Recurrent Exposure Generation (REG) module and couple it seamlessly with a Multi-Exposure Detection (MED) module, and thus significantly improve face detection performance by effectively inhibiting non-uniform illumination and noise issues. REG produces progressively and efficiently intermediate images corresponding to various exposure settings, and such pseudo-exposures are then fused by MED to detect faces across different lighting conditions. The proposed method, named REGDet, is the first `detection-with-enhancement' framework for low-light face detection. It not only encourages rich interaction and feature fusion across different illumination levels, but also enables effective end-to-end learning of the REG component to be better tailored for face detection. Moreover, as clearly shown in our experiments, REG can be flexibly coupled with different face detectors without extra low/normal-light image pairs for training. We tested REGDet on the DARK FACE low-light face benchmark with thorough ablation study, where REGDet outperforms previous state-of-the-arts by a significant margin, with only negligible extra parameters.

研究の動機と目的

• 劣悪な照度とノイズによる特徴抽出と検出性能の低下という、低照度顔検出の課題に対処すること。
• 単独の画像強化手法の限界を克服し、検出に必要な特徴を損なう可能性があること。
• 非一様な照明下でもより頑健な性能を発揮するように、露出生成と顔検出を統合した共同学習フレームワークを開発すること。
• 一般の画像品質ではなく、顔検出に特化した効果的なエンドツーエンド学習による露出生成の訓練を可能にすること。

提案手法

• REGモジュールは、一連の段階的露出の擬似画像を、単一の低照度入力から再帰的記憶を用いて生成する双方向ConvGRUを用いる。
• REGモジュールは、実際の露出ペアを必要とせず、多様な露出レベルを生成するように誘導する擬似教師付き事前学習スキームで訓練される。
• MEDモジュールは、マルチスケール特徴集約戦略を用いて、複数の擬似露出間の特徴を統合し、検出の頑健性を向上させる。
• REGモジュールとMEDモジュールは逐次的に接続され、エンドツーエンドで共同最適化され、露出レベル間での特徴の相互作用が可能になる。
• このフレームワークは、DSFD や PyramidBox などのさまざまなベース検出器と互換性があり、低照度または通常照度のペア画像を訓練に必要としない。
• アーキテクチャは軽量であり、わずかな追加パラメータで顕著な性能向上が達成される。

実験結果

リサーチクエスチョン

• RQ1 再帰的露出生成モジュールは、単一の低照度画像から擬似露出を効果的に合成し、顔検出性能を向上させることができるか？
• RQ2 露出生成と検出のエンドツーエンド共同学習は、事前処理による強化とその後の検出を上回る性能を発揮するか？
• RQ3 生成された露出段階数が、検出性能と計算コストに与える影響は何か？
• RQ4 REGモジュールの擬似教師付き事前学習は、特徴の多様性と検出精度を向上させるか？
• RQ5 REGDetフレームワークは、さまざまなベース顔検出器に一般化可能か？

主な発見

• REGDetは、ベース検出器にPyramidBoxを用いた場合、DARK FACEベンチマークでmAP 77.69%を達成し、以前の最先端手法を顕著に上回った。
• アブレーションスタディの結果、REGモジュールでT=4段階を採用した場合が最良の性能を示し、T=6ではさらなる向上がなく、計算コストが増加する結果となった。
• REGモジュールの擬似教師付き事前学習により、mAPが1.33%絶対値で向上（76.36% → 77.69%）し、補完的な露出特徴を学習する有効性が示された。
• BEG、CEG、またはSEGといった非再帰的モジュールに置き換えると、性能が劣化または一貫性がなくなることが示され、露出進行のモデリングにおいて再帰的記憶の重要性が浮き彫りになった。
• DSFD、PyramidBox、S3FDといった異なるベース検出器に対しても、高い性能を維持しており、スケーラビリティと互換性の高さが裏付けられた。
• わずかな追加パラメータで顕著な性能向上が達成されたことから、REGDetの効率性と実用性が確認された。