[논문 리뷰] CMS-RCNN: Contextual Multi-Scale Region-based CNN for Unconstrained Face Detection

Chenchen Zhu, Yutong Zheng외 2명|arXiv (Cornell University)|2016. 06. 17.

Face recognition and analysis인용 수 15

한 줄 요약

CMS-RCNN는 다중 척도 특징과 명시적인 신체 맥락 추론을 통합하여, 가림, 저해상도, 자세 변화와 같은 극한 조건에서도 강력한 비구속적 얼굴 검출을 위한 문맥 기반 다중 척도 영역 기반 CNN을 제안한다. 이는 WIDER FACE에서 최고 수준의 성능을 기록하고 FDDB에서도 경쟁적인 결과를 내며, 모든 어려움 수준의 파artition에서 강력한 베이스라인을 초월한다.

ABSTRACT

Robust face detection in the wild is one of the ultimate components to support various facial related problems, i.e. unconstrained face recognition, facial periocular recognition, facial landmarking and pose estimation, facial expression recognition, 3D facial model construction, etc. Although the face detection problem has been intensely studied for decades with various commercial applications, it still meets problems in some real-world scenarios due to numerous challenges, e.g. heavy facial occlusions, extremely low resolutions, strong illumination, exceptionally pose variations, image or video compression artifacts, etc. In this paper, we present a face detection approach named Contextual Multi-Scale Region-based Convolution Neural Network (CMS-RCNN) to robustly solve the problems mentioned above. Similar to the region-based CNNs, our proposed network consists of the region proposal component and the region-of-interest (RoI) detection component. However, far apart of that network, there are two main contributions in our proposed network that play a significant role to achieve the state-of-the-art performance in face detection. Firstly, the multi-scale information is grouped both in region proposal and RoI detection to deal with tiny face regions. Secondly, our proposed network allows explicit body contextual reasoning in the network inspired from the intuition of human vision system. The proposed approach is benchmarked on two recent challenging face detection databases, i.e. the WIDER FACE Dataset which contains high degree of variability, as well as the Face Detection Dataset and Benchmark (FDDB). The experimental results show that our proposed approach trained on WIDER FACE Dataset outperforms strong baselines on WIDER FACE Dataset by a large margin, and consistently achieves competitive results on FDDB against the recent state-of-the-art face detection methods.

연구 동기 및 목표

• 극한의 변화가 있는 비구속 환경에서의 강력한 얼굴 검출 문제를 해결하기 위해.
• 인간 시각 인지에 영감을 얻어 주변 신체 영역의 맥락 정보를 명시적으로 모델링하여 검출 성능을 향상시키기 위해.
• 작은 얼굴과 매우 작은 얼굴의 신뢰성 있는 검출을 위해 영역 제안 및 검출 단계에서 다중 척도 특징 학습을 향상시키기 위해.
• 실제로 도전적인 조건에서 WIDER FACE 및 FDDB와 같은 벤치마크 데이터셋에서 최고 성능을 달성하기 위해.

제안 방법

• 네트워크는 다중 척도 특징을 캡처하여 작은 얼굴과 매우 작은 얼굴을 검출할 수 있도록 다중 척도 영역 제안 네트워크(MS-RPN)를 사용한다.
• 영역 제안에 대해 추론을 수행하기 위해 문맥 기반 다중 척도 CNN(CMS-CNN)을 사용하며, 고수준 의미 특징과 저수준 국소화 세부 정보를 통합하여 표현력을 향상시킨다.
• 로이널리티(ROI) 풀링 레이어를 얼굴 외부의 맥락 영역까지 포함하도록 확장하여 명시적인 신체 맥락 추론을 통합함으로써 인간의 시각적 추론을 모방한다.
• 학습은 근사 공동 학습 방식으로 수행되며, 역전파 동안 제안 박스 좌표에 대한 기울기를 무시하여 학습을 안정화시킨다.
• 최종 검출 출력은 신뢰도 점수와 경계 상자 회귀를 포함하며, 신뢰도 점수에 임계값을 적용하여 결과를 필터링한다.
• WIDER FACE에서 테스트한 동일한 모델을 재학습 없이 FDDB에서 평가하여 강력한 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 명시적인 신체 맥락 모델링이 비구속 환경에서 얼굴 검출의 강건성에 기여하는가?
• RQ2 영역 제안 및 검출 단계에서의 다중 척도 특징 학습이 매우 작은 얼굴과 작은 얼굴에 대한 성능에 어떤 영향을 미치는가?
• RQ3 맥락 기반 추론이 모호하거나 가림된 얼굴 패턴으로 인한 오분류를 어느 정도 줄이는가?
• RQ4 WIDER FACE 및 FDDB와 같은 다양한 벤치마크에서 제안된 CMS-RCNN는 최고 수준의 기존 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• CMS-RCNN는 WIDER FACE 데이터셋에서 모든 어려움 수준 파artition(쉬움, 중간, 어려움)에서 강력한 베이스라인을 크게 앞서며 성능을 높였다.
• WIDER FACE 데이터셋에서 모델는 어려운 파artition에서 가장 높은 평균 정밀도를 기록하여 극한의 변화에 대한 뛰어난 강건성을 입증했다.
• WIDER FACE에서 학습한 동일한 모델을 FDDB에서 평가했을 때, 매우 높은 재현율을 기록하여 대부분의 발표된 방법을 능가했다.
• 오분류 항목의 시각화 결과, 대부분은 데이터셋 내 잘못 레이블링 때문임을 확인하여, 모델가 데이터 노이즈에 강건하고 모호한 얼굴 유사 패턴으로의 일반화 능력이 있음을 시사한다.
• 아블레이션 연구를 통해 신체 맥락 정보의 통합이 성능 향상에 기여함을 확인했다.