[논문 리뷰] Adversarial Occlusion-aware Face Detection

Yujia Chen, Lingxiao Song외 1명|arXiv (Cornell University)|2017. 09. 15.

Face recognition and analysis참고 문헌 47인용 수 4

한 줄 요약

이 논문은 적대적 오염 생성과 분할을 통합한 새로운 얼굴 검출 프레임워크인 적대적 가림 인식 얼굴 검출(AOFD)을 제안한다. 이 프레임워크는 적대적 훈련을 통해 실제적인 오염 패턴을 생성하고, 오염 영역을 분할하는 방식으로, 가림이 심한 얼굴의 검출 정확도를 향상시킨다. MAFA에서 IoU 임계치 0.45일 때 93.8%의 AP를 기록하고 FDDB에서도 경쟁적인 성능을 보이며, 특히 마스크를 쓴 얼굴과 같은 실제 환경에서 흔한 오염된 얼굴 검출에 유리하다.

ABSTRACT

Occluded face detection is a challenging detection task due to the large appearance variations incurred by various real-world occlusions. This paper introduces an Adversarial Occlusion-aware Face Detector (AOFD) by simultaneously detecting occluded faces and segmenting occluded areas. Specifically, we employ an adversarial training strategy to generate occlusion-like face features that are difficult for a face detector to recognize. Occlusion mask is predicted simultaneously while detecting occluded faces and the occluded area is utilized as an auxiliary instead of being regarded as a hindrance. Moreover, the supervisory signals from the segmentation branch will reversely affect the features, aiding in detecting heavily-occluded faces accordingly. Consequently, AOFD is able to find the faces with few exposed facial landmarks with very high confidences and keeps high detection accuracy even for masked faces. Extensive experiments demonstrate that AOFD not only significantly outperforms state-of-the-art methods on the MAFA occluded face detection dataset, but also achieves competitive detection accuracy on benchmark dataset for general face detection such as FDDB.

연구 동기 및 목표

• 얼굴 검출에서 실제 오염된 얼굴 데이터가 부족한 문제를 해결한다.
• 특히 마스크를 쓴 얼굴처럼 실제 환경에서 흔한 가림이 심한 얼굴의 검출 성능을 향상시킨다.
• 전통적인 방법이 오염을 노이즈나 장애물로 간주하는 한계를 극복한다.
• 오염 분할을 보조 작업으로 활용하여 얼굴 검출을 위한 특징 학습을 향상시키는 효과를 탐색한다.
• 얼굴 검출과 오염 인식 표현 학습을 동시에 최적화하는 견고한 엔드 투 엔드 프레임워크를 개발한다.

제안 방법

• 지역 제안 영역(RoIs)에 실제적인 오염 패턴을 합성하기 위해 마스크 생성 네트워크를 활용하여 다양한 실제 오염 상황(마스크, 선글라스 등)을 시뮬레이션한다.
• 생성된 마스크가 공간적으로 일관되고 현실적으로 보이도록 보장하기 위해, 간소한 제약 손실 $L_c$ 를 도입한다. 이는 흩어진 또는 비현실적인 오염 패턴을 방지한다.
• 얼굴 검출과 오염 분할을 함께 훈련하는 다중 작업 학습 프레임워크를 구현하며, 분할이 특징 학습을 향상시키는 감독 신호를 제공한다.
• 어려운 음성 샘플(가림된 얼굴)을 생성하기 위해 적대적 훈련을 활용하여 검출기의 강건성을 높인다.
• 분할 브랜치를 통해 오염 영역을 예측하고, 이를 노이즈가 아닌 정보적인 특징으로 간주함으로써, 부분적으로 보이지 않는 얼굴에 대한 검출 신뢰도를 향상시킨다.
• 검출 손실, 분할 손실, 간소 제약 손실을 조합하여 모델을 엔드 투 엔드로 최적화함으로써 일반화 능력과 특징 표현 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 실제 오염된 얼굴 이미지의 레이블이 없는 상황에서, 적대적 방식으로 오염 패턴을 생성하는 것이 오염된 얼굴 검출을 위한 훈련 데이터 증강에 효과적인가?
• RQ2 오염 영역에 대한 분할 브랜치를 함께 훈련시키면, 특히 심한 오염 상황에서 얼굴 검출 성능이 향상되는가?
• RQ3 생성된 오염의 공간적 범위와 현실성은 검출 정확도와 모델의 강건성에 어떤 영향을 미치는가?
• RQ4 오염 영역의 분할이 낮은 데이터 환경에서 특징 학습을 향상시키는 의미 있는 보조 작업이 될 수 있는가?
• RQ5 기존의 데이터 증강 기법과 온라인 하드 예외 샘플링(OHEM)에 비해, 제안된 방법은 성능과 훈련 안정성 측면에서 어떻게 비교되는가?

주요 결과

• IoU 임계치를 0.45로 낮춘 MAFA 데이터셋에서 AOFD는 평균 정밀도 93.8%를 기록하여, 도전적인 부분적으로 보이지 않는 얼굴에 대해서도 높은 검출 정확도를 확보했다.
• RoIs에서 오염 영역이 1/3 수준일 때 AOFD는 최적의 성능을 보였으며, 너무 작거나 너무 큰 오염 영역은 검출 정확도를 떨어뜨린다.
• 간소 제약 $L_c$ 는 마스크의 현실성에 크게 기여하여, 적용 시 평균 정밀도를 0.785에서 0.799로 상승시켰다. 이는 현실적인 오염 생성에 있어 중요한 역할을 한다는 것을 보여준다.
• 분할 브랜치를 제거하면 FDDB에서 1000개의 가로채기(FP) 기준 재현율이 97.88%에서 97.13%로 감소하여, 특징 학습과 검출 강건성 향상에 기여한다는 점을 확인한다.
• AOFD와 온라인 하드 예외 샘플링(OHEM)을 결합하면 MAFA에서 81.3%의 AP와 FDDB에서 97.88%의 재현율을 기록하며, 개별 구성 요소보다 뛰어난 성능을 보이며 상호 보완적인 이점을 입증했다.
• 마스크 생성기의 기여가 뚜렷하다. 제거 시 MAFA의 AP는 3.2% 감소하고 FDDB의 재현율은 1.3% 감소하여, 오염된 얼굴에 대한 검출 신뢰도 향상에 중요한 역할을 한다는 점을 입증한다.