[논문 리뷰] Domain Adaptation with Soft-margin multiple feature-kernel learning beats Deep Learning for surveillance face recognition

Samik Banerjee, Sukhendu Das|arXiv (Cornell University)|2016. 10. 05.

Face recognition and analysis참고 문헌 31인용 수 5

한 줄 요약

이 논문은 감시 영상 얼굴 인식을 위해 도메인 적응(DA)과 결합된 소프트 마진 다중 특징 커널 학습(SML-MFKC) 프레임워크를 제안하며, 실제 데이터셋에서 딥 러닝 방법을 능가한다. 이 방법은 FR_SURV에서 56.44%의 랭크-1 인식률, SCFace에서 79.86%, ChokePoint에서 85.59%를 기록하여 저해상도, 저대trast, 조명 변화에 대해 뛰어난 내구성을 입증한다.

ABSTRACT

Face recognition (FR) is the most preferred mode for biometric-based surveillance, due to its passive nature of detecting subjects, amongst all different types of biometric traits. FR under surveillance scenario does not give satisfactory performance due to low contrast, noise and poor illumination conditions on probes, as compared to the training samples. A state-of-the-art technology, Deep Learning, even fails to perform well in these scenarios. We propose a novel soft-margin based learning method for multiple feature-kernel combinations, followed by feature transformed using Domain Adaptation, which outperforms many recent state-of-the-art techniques, when tested using three real-world surveillance face datasets.

연구 동기 및 목표

• 갤러리와 프로브 이미지 간의 저해상도, 저대trast, 조명 변화로 인한 성능 저하 문제를 지속적으로 해결한다.
• 통제된 환경에서는 뛰어난 성능를 보이지만 실생활 감시 조건에서 도메인 이동이 발생할 경우 실패하는 딥 러닝 모델의 한계를 극복한다.
• 최적의 커널 선택과 도메인 적응을 융합하여 소스(갤러리) 도메인과 타겟(프로브) 도메인의 분포를 정렬하는 강력한 특징 학습 및 적응 파이프라인을 개발한다.
• 철저히 설계된 다중 커널 학습 접근법과 소프트 마진 최적화를 통해 실감 있는 감시 데이터셋에서 최신 딥 러닝 모델을 능가할 수 있음을 입증한다.

제안 방법

• 감시 영상에서 얼굴 영역을 밀도 있게 캐포쳐하기 위해 Chehra 얼굴 검출기를 사용하여 49개의 지문점(landmark points)을 추출한다.
• 갤러리 및 프로브 이미지를 정규화하기 위한 사전 처리를 적용하여 대trast와 조명의 격차를 줄인다.
• 볼록 최적화 프레임워크를 사용하여 특징 선택과 커널 조합을 동시에 최적화하는 소프트 마진 다중 특징 커널 학습(SML-MFKC)을 구현한다.
• 도메인 이동을 최소화함으로써 갤러리(소스) 도메인과 프로브(타겟) 도메인의 특징 분포를 정렬하는 변환을 통해 도메인 적응(DA)을 적용한다.
• 그라스만만도르의 경로 기반 방법을 사용하여 소스 도메인과 타겟 도메인의 부분공간이 정렬된 공통 잠재 공간을 추정한다.
• SML-MFKC와 DA 구성 요소를 통합된 프레임워크로 통합하며, 최종 인식은 커널 기반 분류기로 수행한다.

실험 결과

연구 질문

• RQ1 심각한 도메인 이동 조건에서 소프트 마진 다중 특징 커널 학습 접근법이 감시 영상 얼굴 인식에서 딥 러닝 모델을 능가할 수 있는가?
• RQ2 저품질의 감시 데이터에서 갤러리와 프로브 도메인의 특징 분포를 정렬할 때 도메인 적응이 인식 정확도에 얼마나 기여하는가?
• RQ3 실생활 감시 데이터셋에서 랭크-1 인식률, CMC, ROC 성능 측면에서 제안된 방법은 최신 딥 러닝 모델과 어떻게 비교되는가?
• RQ4 딥 러닝 모델은 제어된 환경에서는 성공을 거두지만 감시 시나리오에서는 왜 실패하는가? 커널 기반 접근법이 이러한 실패를 완화할 수 있는가?

주요 결과

• 제안된 SML-MFKC와 DA는 FR_SURV 데이터셋에서 랭크-1 인식률 56.44%를 기록하며, 최고의 딥 러닝 방법(36.53%)을 크게 능가한다.
• SCFace 데이터셋에서는 79.86%의 랭크-1 정확도를 달성하여 다음으로 우수한 방법(VGG Face + DeepFace, 46.25%)을 초월한다.
• ChokePoint 데이터셋에서는 85.59%의 랭크-1 정확도를 기록하며, 두 번째로 좋은 방법(FaceNet + Alignment, 69.86%)을 뛰어넘는다.
• 그림 4와 5에서 보듯이, CMC와 ROC 곡선 측면에서 모든 세 데이터셋에서 제안된 방법이 모든 경쟁 기법을 일관되게 능가한다.
• 단순 기준선(SML-MFKC에 DA가 없는 경우)도 매우 경쟁력 있음을 확인하여, 핵심 커널 학습 구성 요소 자체가 강력함을 시사하지만, DA는 성능 향상에 결정적인 기여를 한다.
• FR_SURV 데이터셋은 여전히 가장 도전적인 데이터셋으로, 모든 방법에서 가장 낮은 정확도를 보이며 외부 환경 감시 조건의 곤경과 향후 개선의 필요성을 부각시킨다.