[논문 리뷰] Occlusion Coherence: Detecting and Localizing Occluded Faces

Golnaz Ghiasi, Charless C. Fowlkes|arXiv (Cornell University)|2015. 06. 28.

Face recognition and analysis참고 문헌 33인용 수 66

한 줄 요약

이 논문은 부분 간 음영 일관성을 명시적으로 모델링하는 계층적 변형 가능한 부분 모델을 제안하며, 합성 음영 데이터를 사용하여 부분 음영 상황에서의 검출 및 특징점 정렬을 향상시킨다. 이 모델은 음영 패턴의 공간 일관성을 강제하여, 부분 음영 상황에서 표준 부분 모델 및 회귀 기반 방법보다 우수한 성능을 내며, 음영이 심한 얼굴에 대해서도 최신 기준 성능을 달성한다.

ABSTRACT

The presence of occluders significantly impacts object recognition accuracy. However, occlusion is typically treated as an unstructured source of noise and explicit models for occluders have lagged behind those for object appearance and shape. In this paper we describe a hierarchical deformable part model for face detection and landmark localization that explicitly models part occlusion. The proposed model structure makes it possible to augment positive training data with large numbers of synthetically occluded instances. This allows us to easily incorporate the statistics of occlusion patterns in a discriminatively trained model. We test the model on several benchmarks for landmark localization and detection including challenging new data sets featuring significant occlusion. We find that the addition of an explicit occlusion model yields a detection system that outperforms existing approaches for occluded instances while maintaining competitive accuracy in detection and landmark localization for unoccluded instances.

연구 동기 및 목표

• 기존 부분 모델이 부분 음영을 처리하는 데에 한계를 보이는 점을 해결하기 위해, 음영을 무질서한 노이즈가 아닌 구조적이고 일관된 현상으로 모델링한다.
• 음영체(예: 선글라스, 머리카락, 사람 등)로 얼굴 부분이 가림당하는 실제 환경에서 특징점 정렬 및 얼굴 검출 정확도를 향상시킨다.
• 실제 음영 얼굴 학습 데이터의 부족 문제를 해결하기 위해, 모델의 구조적 가정을 기반으로 합성된 음영 인스턴스를 생성함으로써 데이터 증강을 실현한다.
• 단순히 검출만 하는 것이 아니라, 이웃한 부분들 간의 상관 관계를 고려해 어떤 특징점이 음영되었는지 정확히 예측할 수 있도록, 이웃한 부분들 간의 음영 패턴을 연관성 있게 모델링한다.
• 음영이 없는 얼굴에서도 경쟁적인 성능를 유지하면서 음영에 대한 강건성을 크게 향상시켜, 사전 검출 단계에 의존하지 않는다.

제안 방법

• 전체 얼굴 부분과 국소적 특징점 특징을 갖는 이중층 계층적 변형 가능한 부분 모델(HPM)을 제안하여, 압축적이고 구별력 있는 표현을 가능하게 한다.
• 이웃한 특징점들 간의 공간 일관성을 강제하기 위해, 작은 수의 일관된 패턴들 중에서 부분별 음영 상태를 선택한다 (예: 턱이 음영되었을 경우 입술도 더 잘 음영될 가능성이 높다).
• 모델의 구조적 제약 조건을 이용해 부분을 합성적으로 음영함으로써 가상의 학습 데이터를 생성하여, 전체 이미지 합성 없이도 효율적인 데이터 증강을 실현한다.
• 잠재된 음영 상태에 의존하는 분류 기반 학습 손실을 사용하여, 현실적인 음영 패턴을 가진 부정 예시로부터도 학습할 수 있도록 한다.
• 동적 프로그래밍을 활용해 추론을 수행함으로써, 계층적 제약 조건 하에서 부분 위치와 음영 상태를 동시에 최적화할 수 있다.
• 다중 해상도 검출 프레임워크에 모델를 통합하여, 작은 크기이거나 부분적으로만 노출된 얼굴의 검출 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 이웃한 부분들이 함께 음영되기 쉬운 음영 일관성을 모델링하면, 음영이 있는 얼굴에 대한 검출 및 정렬 성능 향상에 기여할 수 있는가?
• RQ2 구조적 음영 패턴을 기반으로 한 합성 데이터 증강은 자원이 제한된 음영 상황에서 실재 데이터만을 사용하는 것보다 더 나은 일반화 성능을 이끌 수 있는가?
• RQ3 명시적인 음영 상태를 갖는 부분 기반 모델이, 특히 음영 상황에서 종합적 회귀 기반 방법보다 특징점 정렬 정확도에서 뛰어난 성능을 낼 수 있는가?
• RQ4 기존의 변형 가능한 부분 모델에 비해, 모델의 계층적 구조가 초기화에 대한 민감성과 부분 음영에 대한 강건성 향상에 얼마나 기여하는가?
• RQ5 독립적인 음영 모델보다 모델이 특징점의 음영 상태를 더 정확히 예측할 수 있는가? 그리고 이러한 예측 정확도 향상은 식별 등의 후속 작업에 기여하는가?

주요 결과

• 제안된 계층적 부분 모델(HPM)은 UCI-OFD 데이터셋의 음영 부분에서 표준 DPM 및 캐스케이드 DPM보다 뚜렷이 뛰어난 성능을 보이며, 음영 얼굴에 대해 높은 정밀도와 재현율을 확보한다.
• COFW 벤치마크에서 HPM는 음영 얼굴에 대해 특징점 정렬 정확도에서 최신 기준 성능를 달성했으며, 음영에 대한 강건성 면에서 RCPR나 DCNN 기반 모델보다 뛰어난 성능를 보였다.
• 음영이 없는 얼굴에 대해서도 경쟁적인 성능를 유지하여, IBUG 데이터셋에서 포즈 회귀 기법과 유사한 특징점 정렬 정확도를 달성했다.
• HPM는 독립적인 음영 모델보다 음영 상태 예측 정확도가 높았으며, 이는 이웃한 특징점들 간의 음영 일관성을 강제함으로써 음영 추론 능력이 향상됨을 보여준다.
• 표준 캐스케이드 검출기들이 놓치는 많은 음영이 심한 얼굴도 HPM가 탐지함으로써, 혼잡한 환경에서의 얼굴 겹침 상황에서도 강건성을 입증했다.
• 피드포워드 회귀 모델(예: RCPR)보다 약 100배 느리지만, GPU 가속이 가능하여 런타임 최적화 가능성이 있음을 시사한다.