[논문 리뷰] Recurrent Exposure Generation for Low-Light Face Detection

Jinxiu Liang, Jingwen Wang외 5명|arXiv (Cornell University)|2020. 07. 21.

Video Surveillance and Tracking Methods참고 문헌 58인용 수 11

한 줄 요약

이 논문은 낮은 조도에서의 얼굴 검출을 위한 엔드 투 엔드 증강 기반 검출 프레임워크인 REGDet을 제안한다. 이는 양방향 ConvGRU를 사용해 단일 저조도 입력에서 다중 가짜 노출 이미지를 합성하는 순환 노출 생성(REG) 모듈을 활용하며, 이를 다중 노출 검출(MED) 모듈이 융합한다. 이 방법은 파arameter 수가 약간 증가할 뿐이지만 DARK FACE 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Face detection from low-light images is challenging due to limited photos and inevitable noise, which, to make the task even harder, are often spatially unevenly distributed. A natural solution is to borrow the idea from multi-exposure, which captures multiple shots to obtain well-exposed images under challenging conditions. High-quality implementation/approximation of multi-exposure from a single image is however nontrivial. Fortunately, as shown in this paper, neither is such high-quality necessary since our task is face detection rather than image enhancement. Specifically, we propose a novel Recurrent Exposure Generation (REG) module and couple it seamlessly with a Multi-Exposure Detection (MED) module, and thus significantly improve face detection performance by effectively inhibiting non-uniform illumination and noise issues. REG produces progressively and efficiently intermediate images corresponding to various exposure settings, and such pseudo-exposures are then fused by MED to detect faces across different lighting conditions. The proposed method, named REGDet, is the first `detection-with-enhancement' framework for low-light face detection. It not only encourages rich interaction and feature fusion across different illumination levels, but also enables effective end-to-end learning of the REG component to be better tailored for face detection. Moreover, as clearly shown in our experiments, REG can be flexibly coupled with different face detectors without extra low/normal-light image pairs for training. We tested REGDet on the DARK FACE low-light face benchmark with thorough ablation study, where REGDet outperforms previous state-of-the-arts by a significant margin, with only negligible extra parameters.

연구 동기 및 목표

• 낮은 조도에서의 얼굴 검출 문제를 해결하기 위해, 열악한 조명 조건과 노이즈로 인해 특징 추출 및 검출 성능이 떨어지는 문제를 다룬다.
• 단독 이미지 증강 기법의 한계를 극복하기 위해, 검출에 필요한 분류 특징을 손상시킬 수 있는 문제를 해결한다.
• 비균일한 조명 조건에서도 강건성을 확보하기 위해 노출 생성과 얼굴 검출을 통합한 공동 학습 프레임워크를 개발한다.
• 일般적인 이미지 품질 향상이 아닌, 얼굴 검출에 특화된 효과적인 엔드 투 엔드 학습을 가능하게 하기 위해 노출 생성을 특별히 설계한다.

제안 방법

• REG 모듈은 양방향 ConvGRU를 사용해 단일 저조도 입력에서 점진적으로 노출된 가짜 이미지의 시퀀스를 생성하며, 순환 메모리를 통해 노출 변화를 모델링한다.
• REG 모듈은 실제 쌍이 없는 가짜 노출 수준을 다양하게 생성하도록 유도하는 가짜 지도 기반 미리 훈련 방식으로 훈련된다.
• MED 모듈은 다중 척도 특징 집약 전략을 사용해 다중 가짜 노출 이미지 간의 특징을 융합하여 검출의 강건성을 향상시킨다.
• REG 및 MED 모듈은 순차적으로 연결되어 엔드 투 엔드 방식으로 공동 최적화되며, 노출 수준 간의 특징 상호작용을 가능하게 한다.
• 이 프레임워크는 다양한 기본 검출기(예: DSFD, PyramidBox)와 호환되며, 훈련에 저조도 또는 정상 조도 이미지의 쌍이 필요하지 않다.
• 아키텍처는 경량이며, 성능 향상에 비해 추가 파라미터 수가 극히 적다.

실험 결과

연구 질문

• RQ1 순환 노출 생성 모듈이 단일 저조도 이미지에서 효과적으로 가짜 노출 이미지를 합성하여 얼굴 검출 성능을 향상시킬 수 있는가?
• RQ2 노출 생성과 검출을 공동으로 엔드 투 엔드로 학습하는 것이, 사전 처리된 증강 후 검출 방식보다 우월한가?
• RQ3 생성된 노출 단계 수가 검출 성능와 계산 비용에 어떤 영향을 미치는가?
• RQ4 REG 모듈의 가짜 지도 기반 미리 훈련이 특징 다양성과 검출 정확도 향상에 기여하는가?
• RQ5 REGDet 프레임워크는 다양한 기본 얼굴 검출기에서 일반화 가능한가?

주요 결과

• REGDet는 기본 검출기로 PyramidBox를 사용하여 DARK FACE 벤치마크에서 mAP 77.69%를 달성하였으며, 이는 이전 최신 기술 수준의 방법보다 뚜렷이 뛰어나다.
• 절단 실험 결과, REG 모듈에서 T=4 단계 설정이 최고의 성능을 보였으며, T=6은 추가 성능 향상 없이 계산 비용만 증가시켰다.
• REG 모듈의 가짜 지도 기반 미리 훈련은 mAP를 1.33%p 절대적으로 향상시켰다(76.36% → 77.69%), 노출 특징의 보완적 학습이 효과적임을 입증한다.
• REG를 비순환 모듈(BEG, CEG, SEG)로 대체할 경우 성능이 열 劣하거나 일관성 없이 떨어지며, 노출 진행 과정을 모델링하기 위해 순환 메모리의 중요성을 입증한다.
• DSFD, PyramidBox, S3FD 등 다양한 기본 검출기에서 높은 성능 유지를 보이며, 확장성과 호환성을 입증한다.
• 소수의 추가 파라미터로도 상당한 성능 향상을 달성함으로써, 효율성과 실용성을 확인한다.