[논문 리뷰] HLA-Face: Joint High-Low Adaptation for Low Light Face Detection

Wenjing Wang, Wenhan Yang외 1명|arXiv (Cornell University)|2021. 04. 05.

Face recognition and analysis인용 수 5

한 줄 요약

HLA-Face는 어두운 얼굴 데이터에 대한 애너테이션을 요구하지 않고 저조도 얼굴 검출을 위한 통합 고-저 수준 적응 프레임워크를 제안한다. 픽셀 수준에서 저조도 및 정상 조도 이미지를 상호 적으로 적응시키고, 다중 작업 자기 지율 학습을 통해 특징을 정렬함으로써, DARK FACE에서 SOTA mAP 44.4%를 달성한다. 이는 어두운 데이터에 의존하는 기존 방법들을 능가한다.

ABSTRACT

Face detection in low light scenarios is challenging but vital to many practical applications, e.g., surveillance video, autonomous driving at night. Most existing face detectors heavily rely on extensive annotations, while collecting data is time-consuming and laborious. To reduce the burden of building new datasets for low light conditions, we make full use of existing normal light data and explore how to adapt face detectors from normal light to low light. The challenge of this task is that the gap between normal and low light is too huge and complex for both pixel-level and object-level. Therefore, most existing low-light enhancement and adaptation methods do not achieve desirable performance. To address the issue, we propose a joint High-Low Adaptation (HLA) framework. Through a bidirectional low-level adaptation and multi-task high-level adaptation scheme, our HLA-Face outperforms state-of-the-art methods even without using dark face labels for training. Our project is publicly available at https://daooshee.github.io/HLA-Face-Website/

연구 동기 및 목표

• 비용이 많이 드는 어두운 얼굴 애너테이션에 의존하지 않고 저조도 얼굴 검출 문제를 해결하기 위해.
• 정상 조도 및 저조도 이미지 간의 큰 도메인 간격을 픽셀 수준과 의미 수준 모두에서 해소하기 위해.
• 자기 지율 적응을 통해 저조도 환경에서의 얼굴 검출기의 일반화 및 강건성을 향상시키기 위해.
• 기존의 정상 조도 데이터셋을 활용해 저조도 배포에 적합한 확장 가능한 프레임워크를 개발하기 위해.

제안 방법

• 저조도 및 정상 조도 이미지를 상호 적으로 처리하는 양방향 저수준 적응 기법을 제안: 저조도 이미지를 향상시키고, 정상 조도 이미지를 노이즈 및 색상 편향으로 왜곡하여 중간 도메인을 생성한다.
• 조각맞추기(jigsaw) 및 회전 회귀 전조 과제를 사용한 다중 작업 자기 지율 학습 체계를 도입하여 도메인 간 특징 정렬을 수행한다.
• 중간 도메인과 실제 저조도 특징 간의 특징 거리를 최소화하기 위해 교차 도메인 대비 학습을 적용한다.
• 강력한 얼굴 검출 백본(DSFD)을 사용하여 중간 도메인에서 얻은 향상된 특징을 활용해 검출 성능을 향상시킨다.
• 추론 시 피라미드 다중 해상도 테스트를 적용하지만, 이는 없어도 메서드의 효과성이 유지됨을 확인했다.
• 가짜 레이블링과 대비 학습을 '소프트' 감독으로 활용해 수동 애너테이션 없이도 특징를 정교화한다.

실험 결과

연구 질문

• RQ1 어두운 얼굴 데이터에 대한 애너테이션을 사용하지 않고도 저조도 조건에서 얼굴 검출 성능을 향상시킬 수 있는가?
• RQ2 정상 조도와 저조도 이미지 간의 큰 픽셀 수준 및 의미 수준의 도메인 간격을 효과적으로 해소할 수 있는가?
• RQ3 단일 모달 적응 또는 향상만으로도 고-저 수준의 통합 적응이 더 나은 성능을 내는가?
• RQ4 레이블이 전혀 없는 상황에서 자기 지율 학습이 도메인 간 특징 정렬에 효과적으로 기여하는가?
• RQ5 저조도 검출에서 저수준 향상과 고수준 특징 적응 중 어느 것이 더 중요한 기여를 하는가?

주요 결과

• HLA-Face는 DARK FACE 벤치마크에서 44.4%의 mAP를 달성하여 어두운 얼굴 애너테이션을 사용하는 SOTA 기법들을 능가한다.
• 모델은 DARK FACE 레이블을 전혀 사용하지 않아도 기준 DSFD 대비 mAP가 29% 이상 향상되었다.
• 양방향 저수준 적응과 교차 도메인 대비 학습의 조합이 가장 높은 mAP를 기록하여 상호 보완적 성능 향상이 입증되었다.
• 조각맞추기 전조 과제는 중간 도메인에서 상위 1위 정확도 99.3%를 달성하여 효과적인 특징 학습이 이루어졌음을 시사한다.
• 대비 학습은 가짜 레이블링보다 성능이 뛰어나, '소프트' 감독 방식이 노이즈가 많은 수동 레이블보다 더 강건함을 보여준다.
• 피라미드 다중 해상도 테스트 없이도 메서드의 효과성이 유지되며, 더 약한 기준 모델에서도 mAP 41.4%를 기록했다.