[논문 리뷰] Bootstrapping Face Detection with Hard Negative Examples

Shaohua Wan, Zhijun Chen외 3명|arXiv (Cornell University)|2016. 08. 07.

Face recognition and analysis참고 문헌 14인용 수 48

한 줄 요약

이 논문은 배경 영역에서 수확한 어려운 음성 예외들로 반복적으로 모델을 재학습하는 하드 음성 마이닝 전략을 제안하여, Faster R-CNN 기반의 얼굴 검출 성능을 향상시킨다. 학습 중에 이러한 검출이 어려운 음성 예외들을 추가함으로써, 이 방법은 FDDB 벤치마크에서 최신 기술을 초월하는 성능 향상을 이끌어내며, 특히 ResNet-50 아키텍처와 조합할 경우 두드러진 성능 향상을 보인다.

ABSTRACT

Recently significant performance improvement in face detection was made possible by deeply trained convolutional networks. In this report, a novel approach for training state-of-the-art face detector is described. The key is to exploit the idea of hard negative mining and iteratively update the Faster R-CNN based face detector with the hard negatives harvested from a large set of background examples. We demonstrate that our face detector outperforms state-of-the-art detectors on the FDDB dataset, which is the de facto standard for evaluating face detection algorithms.

연구 동기 및 목표

• 배경 영역이 전경 얼굴보다 훨씬 많아지는 얼굴 검출에서 심각한 클래스 불균형 문제를 해결하기 위해.
• 막힘, 자세 변화, 저해상도와 같은 도전적인 조건에 대응하는 검출의 강건성을 향상시키기 위해.
• 하드 음성 마이닝을 활용하여 Faster R-CNN 기반 얼굴 검출기의 성능을 향상시키고, 잘못된 양성 예측 수를 줄이기 위해.
• 수확한 하드 음성 예외를 반복적으로 재학습함으로써 FDDB 벤치마크에서 측정 가능한 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 이 방법은 두 라운드 학습 프로세스를 사용한다: 먼저 표준 데이터로 기본 Faster R-CNN 검출기를 학습한 후, 첫 번째 모델의 오분류된 양성 예측에서 하드 음성 예외를 수확한다.
• 하드 음성 예외는 어떤 진짜 얼굴 바운딩 박스와도 IoU < 0.5를 가지며 잘못되게 양성으로 분류된 영역 예측으로 정의된다.
• 이러한 하드 음성 예외들은 학습 세트에 추가되며, 각 미니배치에서 배경 대 전경 비율을 3:1로 유지하면서 모델을 재학습한다.
• 효율성을 위해 RPN과 Fast R-CNN의 근사 동시 최적화를 사용하며, 백본 네트워크로 ResNet-50를 사용한다.
• 이 과정은 반복적으로 반복되어 검출기가 어려운 음성 예외를 거부하는 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 하드 음성 마이닝이 Faster R-CNN의 얼굴 검출 작업에서 성능을 크게 향상시킬 수 있는가?
• RQ2 수확한 하드 음성 예외를 반복적으로 재학습함으로써 FDDB와 같은 도전적인 벤치마크에서 검출 정확도에 어떤 영향을 미치는가?
• RQ3 ResNet-50와 같은 더 깊은 네트워크를 사용할 경우 하드 음성 마이닝의 이점이 증폭되는가?
• RQ4 복잡한 영상 조건에서 하드 음성 마이닝은 잘못된 양성 예측 비율을 어느 정도 감소시키는가?

주요 결과

• 제안된 방법인 FRCNN_R50_HNM은 FDDB 데이터셋에서 최신 기술 수준의 성능을 달성하여 FRCNN_VGG16 및 FRCNN_R50를 모두 능가한다.
• 표준 학습 대비 하드 음성 마이닝이 뚜렷한 성능 향상을 이끌어내며, 이는 향상된 이산형 및 연속형 ROC 곡선을 통해 입증된다.
• FRCNN_R50_HNM은 특히 막힘이나 저해상도 얼굴과 같은 어려운 케이스에서 잘못된 양성 예측을 크게 줄인다.
• VGG16 대비 더 깊은 네트워크인 ResNet-50를 사용할 경우 하드 음성 마이닝의 성능 향상 효과가 더 두드러진다.