[논문 리뷰] Surpassing Human-Level Face Verification Performance on LFW with GaussianFace

Chaochao Lu, Xiaoou Tang|arXiv (Cornell University)|2014. 04. 15.

Face recognition and analysis참고 문헌 58인용 수 51

한 줄 요약

이 논문은 다양한 소스 도메인의 데이터를 활용하여 얼굴 인식 일반화 성능을 향상시키는 다중 작업 학습 프레임워크인 GaussianFace를 제안한다. 효율적인 KFDA 등가 형태와 GP 근사 기법을 통합함으로써, 수동적 하이퍼파rameter 조정 없이 복잡한 데이터 분포에 자동으로 적응하면서 LFW에서 98.52%의 정확도를 달성하여 인간 수준 성능(97.53%)을 처음으로 초월한다.

ABSTRACT

Face verification remains a challenging problem in very complex conditions with large variations such as pose, illumination, expression, and occlusions. This problem is exacerbated when we rely unrealistically on a single training data source, which is often insufficient to cover the intrinsically complex face variations. This paper proposes a principled multi-task learning approach based on Discriminative Gaussian Process Latent Variable Model, named GaussianFace, to enrich the diversity of training data. In comparison to existing methods, our model exploits additional data from multiple source-domains to improve the generalization performance of face verification in an unknown target-domain. Importantly, our model can adapt automatically to complex data distributions, and therefore can well capture complex face variations inherent in multiple sources. Extensive experiments demonstrate the effectiveness of the proposed model in learning from diverse data sources and generalize to unseen domain. Specifically, the accuracy of our algorithm achieves an impressive accuracy rate of 98.52% on the well-known and challenging Labeled Faces in the Wild (LFW) benchmark. For the first time, the human-level performance in face verification (97.53%) on LFW is surpassed.

연구 동기 및 목표

• 비제약 환경에서 기계와 인간의 얼굴 인식 성능 간 격차를 해소하기 위해.
• 다양한 소스 도메인 데이터를 활용하여 도메인 이동과 데이터 편향 문제를 해결하고, 목표 도메인에 대한 일반화 성능를 향상시키기 위해.
• 수동적 하이퍼파rameter 조정 없이도 복잡한 실제 세계의 얼굴 변형에 자동으로 적응할 수 있는 융통성 있고 비모수적 모델을 개발하기 위해.
• 효율적 추론 근사 기법을 통해 가우시안 프로세스 기반 모델을 대규모 얼굴 인식 작업에 스케일링하기 위해.

제안 방법

• 다양한 소스 도메인의 데이터를 활용하기 위해, 분류적 가우시안 프로세스 잠재변수 모델(DGPLVM) 내에서 다중 작업 학습 설정을 제안한다.
• DGPLVM 최적화의 단순화와 가속화를 위해 커널 피셔 할선 분석(KFDA)의 효율적 등가 형태를 도입한다.
• 가우시안 프로세스 근사와 앵커 그래프를 활용하여 대규모 데이터셋에 대한 추론과 예측을 스케일링한다.
• 직접 후행 확률 분류 및 후속 분류기용 고차원 특징 추출이라는 두 가지 얼굴 인식 모드를 지원한다.
• 목표 도메인과 소스 도메인의 데이터 분포 간 상호정보량을 최대화하는 것을 학습 목표로 삼아 도메인 적응 성능를 향상시킨다.
• 대규모 공분산 행렬을 효율적으로 처리하기 위해 확장 가능한 근사 기법과 함께 스케일드 콜레지트 기울기(SCG) 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 다중 소스 도메인 적응 접근 방식이 LFW 벤치마크에서 인간 수준 성능을 초월할 수 있는가?
• RQ2 DGPLVM과 같은 비모수적이고 적응 가능한 모델이 복잡한 얼굴 변형 하에서 단일 소스 방법보다 더 우수한 일반화 성능를 보일 수 있는가?
• RQ3 다양한 도메인에서 온 데이터를 통합함으로써, 예측 불가능한 목표 도메인에서도 일반화 성능가 향상되는가?
• RQ4 확장 가능한 GP 근사 기법은 학습 시간과 메모리 사용량을 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• GaussianFace 모델은 LFW 벤치마크에서 98.52%의 정확도를 달성하여 인간 수준 성능인 97.53%를 초월한다.
• 이는 표준 평가 프로토콜 하에서 기계 학습 시스템이 LFW에서 인간 수준 성능을 처음으로 초월한 사례이다.
• 다양한 소스 도메인의 데이터를 활용함으로써 과적합을 줄이고, 단일 도메인 편향에서 벗어난 뛰어난 일반화 성능를 입증한다.
• GP 근사와 앵커 그래프의 사용으로 추론이 스케일업 가능해져, DGPLVM을 대규모 얼굴 인식 작업에 적용할 수 있게 되었다.
• 복잡한 데이터 분포에 자동으로 적응하는 모델의 성능는 수동적 아키텍처나 하이퍼파rameter 설정이 필요한 기존 방법들을 능가한다.