[논문 리뷰] Detecting and counting tiny faces

Alexandre Attia, Sharone Dayan|arXiv (Cornell University)|2018. 01. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 미세 얼굴을 검출하기 위해 원추형 기술자표현(foveal descriptors)과 다중 척도 특징 융합을 사용하는 척도 불변 얼굴 검출 방법을 제안한다. WIDERFACE의 쉬운 셋에서 87% AP를 달성한다. 이 방법은 토론에서 유일한 개인 수를 세기 위해 토론에 참여한 사람 수를 세기 위해 틴리 페이스 검출과 얼굴 임베딩, SVM 기반 매칭을 결합하여 적용한다. 테스트 클립에서 95–98%의 정확도를 기록한다.

ABSTRACT

Finding Tiny Faces (by Hu and Ramanan) proposes a novel approach to find small objects in an image. Our contribution consists in deeply understanding the choices of the paper together with applying and extending a similar method to a real world subject which is the counting of people in a public demonstration.

연구 동기 및 목표

• 실제 공개 시위에서 사람 수를 세는 데에 틴리 페이스 알고리즘을 적용하기 위해 개선한다.
• 비디오 시퀀스에서 작고 겹치거나 가림을 입은 얼굴을 검출하고 고유하게 식별하는 과제를 해결한다.
• 얼굴 검출, 임베딩, 프레임 간 매칭을 통한 사람 수 세기의 확장 가능한 파이프라인을 개발한다.
• 실제 비디오 데이터에서 최신 기술의 검출기들(예: MT-CNN, Faster R-CNN)과의 성능을 평가한다.
• 저해상도 및 블러 상태에서의 방법의 한계를 탐색하고, 향후 학습 및 일반화를 위한 개선 방안을 제안한다.

제안 방법

• 스케일에 따라 다른 검출기를 사용하는 다중 척도 추론 파이프라인을 통해 입력을 재스케일링하여 척도 불변성을 확보한다.
• 다양한 CNN 레이어의 하이퍼컬럼 특징에 고정된 수신장(291px)을 가진 원추형 기술자표현을 사용하여 국소적 세부 정보와 전반적 맥락을 인코딩한다.
• 원본 해상도에서 비최대 억제(NMS)를 적용하여 겹치는 검출 결과를 융합하고 임의의 양성 결과를 줄인다.
• 학습이 성공하지 못했기 때문에 특징 추출 및 추론에 사전 학습된 ResNet101 백본을 사용한다.
• 사전 학습된 랜드마크 검출기를 사용해 얼굴 정렬을 수행하고, 애핀 변환을 통해 얼굴 방향을 표준화한 후 임베딩을 수행한다.
• 사전 학습된 CNN을 사용해 128차원 얼굴 임베딩을 생성하고, 노이즈 및 색상 왜곡을 포함한 데이터 증강 기법을 적용해 선형 SVM을 사용해 프레임 간 얼굴 매칭을 수행한다.

실험 결과

연구 질문

• RQ1 티니 페이스 알고리즘이 작고 겹치거나 가림을 입은 얼굴이 있는 실제 비디오 데이터에서 얼마나 잘 작동하는가?
• RQ2 원추형 기술자표현 기반 검출이 다이나믹한 비디오 시퀀스에서 사람 수 세기로 효과적으로 확장될 수 있는가?
• RQ3 이미지 해상도와 블러가 실용적 환경에서 틴리 페이스의 검출 성능에 어떤 영향을 미치는가?
• RQ4 제한된 학습 데이터에서 선형 SVM 기반 얼굴 매칭이 프레임 간 고유한 사람 수 세기에서 얼마나 효과적인가?
• RQ5 비디오 기반 수 세기 작업에서 틴리 페이스 모델이 다른 최신 기술의 얼굴 검출기들(예: MT-CNN, Faster R-CNN)과 정확도 및 속도 측면에서 어떻게 비교되는가?

주요 결과

• 원래 논문에서의 92%에 비해 WIDERFACE의 쉬운 셋에서 틴리 페이스 모델이 87% 평균 정밀도(AP)를 기록하여 강력하지만 略로 감소한 성능을 보였다.
• 이미지 해상도가 낮아질수록 성능이 크게 떨어졌으며, 작은 얼굴에 대해 검출 재현율이 감소하고 Jaccard 유사도가 낮아졌다.
• 매우 블러진 얼굴에 대해 알고리즘이 어려움을 겪어 이미지 품질과 블러 아티팩트에 민감한 것으로 나타났다.
• 패럴레이드 카테고리(평균 34명/프레임)에서 틴리 페이스는 모든 베이스라인을 앞서 93% TP/GT를 기록했으며, MT-CNN(82%)와 Faster R-CNN(77%)를 크게 앞섰다.
• 클립 1(139명의 참조 기준 사람 수)에서 사람 수 세기 파이프라인은 98% AP를 기록했고, 클립 2(148명의 참조 기준 사람 수)에선 95% AP를 달성하여 고유한 사람 식별에서 높은 정확도를 입증했다.
• 노이즈 및 색상 왜곡을 포함한 데이터 증강 기법과 교차 검증을 통한 임계값 설정을 적용한 SVM 기반 매칭이 정밀도를 향상시켰으며, F₀.₅-스코어를 사용해 임의의 양성 결과 제어를 최적화했다.