[논문 리뷰] Wildest Faces: Face Detection and Recognition in Violent Settings

Mehmet Kerim Yucel, Yunus Can Bilge외 4명|ArXiv.org|2018. 05. 19.

Face recognition and analysis참고 문헌 49인용 수 8

한 줄 요약

이 논문은 극단적인 블러, 저해상도, 큰 자세 변화, 가림, 강한 얼굴 표정 등이 특징인 폭력적 상황에서의 얼굴 검출 및 인식을 위한 대규모 공개 벤치마크인 Wildest Faces 데이터셋을 소개한다. 최신 기술 모델들에도 불구하고 촬영 단위 평가에서 인식 정확도가 53% 이하에 머무르며, 실제 악성 조건에서 작동하는 강건한 모델의 필요성을 드러낸다.

ABSTRACT

With the introduction of large-scale datasets and deep learning models capable of learning complex representations, impressive advances have emerged in face detection and recognition tasks. Despite such advances, existing datasets do not capture the difficulty of face recognition in the wildest scenarios, such as hostile disputes or fights. Furthermore, existing datasets do not represent completely unconstrained cases of low resolution, high blur and large pose/occlusion variances. To this end, we introduce the Wildest Faces dataset, which focuses on such adverse effects through violent scenes. The dataset consists of an extensive set of violent scenes of celebrities from movies. Our experimental results demonstrate that state-of-the-art techniques are not well-suited for violent scenes, and therefore, Wildest Faces is likely to stir further interest in face detection and recognition research.

연구 동기 및 목표

• 극도로 시각적 열화가 발생한 폭력적이고 스트레스가 많은 얼굴 장면에 초점을 맞춘 공개된 데이터셋의 부족을 보완한다.
• 블러, 저해상도, 가림과 같은 실제 악성 조건에서 얼굴 검출 및 인식을 평가할 수 있는 기준을 제공한다.
• 최신 기술 모델과 실제 폭력적 장면 도전 과제 사이의 성능 격차를 조사한다.
• 극단적인 표정과 영상 열화를 처리할 수 있는 강건한 얼굴 인식 모델에 대한 연구를 가능하게 한다.
• 촬영 단위의 레이블과 시간 평가 프로토콜을 제공하여 영상 기반 얼굴 인식을 지원한다.

제안 방법

• 폭력적인 영화에서 유명인의 장면을 활용해 극단적인 얼굴 표정과 시각적 열화를 캡처하기 위해 총 2,186개의 영상 클립을 선별했다.
• 경계 상자, 정체성 레이블, 블러 심도, 크기, 가림 수준 등의 속성을 포함해 얼굴를 주석 처리했다.
• VGGFace 및 CenterLoss 모델을 사용해 이미지 기반 얼굴 인식을 평가하였으며, MTCNN 기반 정렬 여부에 따라 비교했다.
• 영상 인식을 위한 프레임 수준 특징을 집계하기 위해 주목적 기반 시간 풀링 기법을 제안했다.
• 영상 인식에서 시퀀스 모델링을 위해 단일층, 이중층, 양방향 LSTMs 아키텍처를 훈련하고 비교했다.
• 공정한 비교를 위해 RMSprop 옵timizer를 사용하고 학습률을 0.0001으로 고정하며, 모든 LSTMs에 대해 은닉 크기를 4096으로 고정했다.

실험 결과

연구 질문

• RQ1 최신 기술 이미지 기반 얼굴 인식 모델은 극도로 열화된 폭력적 장면 데이터에서 극단적인 블러와 가림 조건에서 어떻게 성능을 내는가?
• RQ2 Wildest Faces 데이터셋에서 얼굴 정렬은 인식 정확도에 얼마나 기여하는가?
• RQ3 딥 러닝 모델은 고도로 운동 블러와 동적 표정을 포함한 영상 시퀀스에서 얼굴을 효과적으로 인식할 수 있는가?
• RQ4 주목적 기반 시간 풀링 기법은 폭력적 영상 클립에서 촬영 단위 얼굴 인식에서 표준 LSTM 아키텍처보다 어떻게 비교되는가?
• RQ5 특히 극도로 현실적인 조건을 위해 설계된 데이터셋에서 현재 모델의 성능 한계는 무엇인가?

주요 결과

• 정렬 기반으로 최신 기술 이미지 기반 얼굴 인식 모델은 Wildest Faces 데이터셋에서 39.9%의 정확도를 기록하며 극단적 조건에서 심각한 성능 저하가 발생함을 시사한다.
• 가장 높은 성능을 보인 이미지 기반 방법인 정렬을 적용한 CenterLoss는 39.9%의 정확도를 기록했고, 정렬을 적용한 VGGFace는 39.7%를 기록하여 정렬의 효과가 미미한 것으로 나타났다.
• 영상 기반 인식에서 주목적 기반 시간 풀링 방법이 52.6%의 최고 촬영 단위 정확도를 기록하여 모든 LSTM 변종 및 다수결 방법을 압도했다.
• 단일층 LSTM은 52.3%의 촬영 단위 정확도를 기록하여 이중층 및 양방향 LSTMs를 모두 앞서며, 이 데이터에 대해 단순한 시간 모델링이 더 효과적일 수 있음을 시사한다.
• VGGFace의 프레임 수준 정확도는 51.98%에 이르지만, 촬영 단위 정확도는 49.5%로 떨어지며, 촬영 내부의 프레임 간 일관성 부족을 보여준다.
• 전반적으로 모든 모델이 촬영 단위 인식에서 53% 이하의 정확도를 기록하며 실제 폭력적 장면에서의 강건성 격차가 뚜렷하게 드러났다.