[논문 리뷰] Triplet Similarity Embedding for Face Verification

Swami Sankaranarayanan, Azadeh Alavi외 1명|arXiv (Cornell University)|2016. 02. 10.

Face recognition and analysis참고 문헌 10인용 수 44

한 줄 요약

이 논문은 깊은 CNN과 삼중체 제약 조건을 통해 학습된 저차원, 대거행 임베딩을 결합하는 삼중체 유사도 임베딩(TSE) 방법을 제안한다. 이는 20시간의 훈련을 통해 IJB-A 얼굴 인식 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이는 이전 방법보다 훨씬 빠른 속도로 이루어지며, 해싱 및 시각화와 같은 효율적인 후처리를 가능하게 한다.

ABSTRACT

In this work, we present an unconstrained face verification algorithm and evaluate it on the recently released IJB-A dataset that aims to push the boundaries of face verification methods. The proposed algorithm couples a deep CNN-based approach with a low-dimensional discriminative embedding learnt using triplet similarity constraints in a large margin fashion. Aside from yielding performance improvement, this embedding provides significant advantages in terms of memory and post-processing operations like hashing and visualization. Experiments on the IJB-A dataset show that the proposed algorithm outperforms state of the art methods in verification and identification metrics, while requiring less training time.

연구 동기 및 목표

• LFW와 같은 벤치마크 데이터셋에서 성능이 포화 상태에 이르렀을 때, 실제 환경에서의 비제약 조건 얼굴 인식 과제를 해결한다.
• 기존에 수주일이 넘게 소요되던 깊은 CNN 기반 얼굴 인식 모델의 훈련 시간을 단축시킨다.
• 도메인 특화의 미세조정과 메트릭 학습을 활용하여, LFW보다 더 도전적인 벤치마크인 IJB-A에서의 성능을 향상시킨다.
• 해싱 및 시각화와 같은 후속 작업을 효율적으로 수행할 수 있도록, 압축되고 분류 능력이 뛰어난 임베딩 공간을 개발한다.
• ImageNet 사전 훈련 모델에서의 전이 학습과 삼중체 기반 메트릭 학습의 조합이 더 빠른 수렴과 더 나은 일반화 성능을 제공함을 입증한다.

제안 방법

• 수렴을 향상시키기 위해, 완전히 연결된 층을 줄이고, 펌웨어 ReLU(PReLU) 활성화 함수를 사용한 AlexNet을 영감으로 삼은 깊은 CNN 아키텍처를 사용한다.
• 훈련 가속화와 특징 학습 향상을 위해, 합성곱 층의 가중치를 사전 훈련된 ImageNet 모델을 사용해 초기화한다.
• CASIA-WebFace 데이터셋에서 네트워크를 미세조정한 후, IJB-A 훈련 분할에서 추가로 미세조정하여 도메인 특화된 특징에 적응시킨다.
• 큰 마진 손실 함수를 사용하여 삼중체 유사도 제약 조건을 통해 저차원(128D)의 분류 능력 있는 임베딩을 학습한다.
• 미세조정된 CNN에서 얻은 깊은 특징을 선형 변환 행렬을 통해 학습된 임베딩 공간으로 투영하여, 빠른 추론을 가능하게 한다.
• 훈련 시에는 68개의 피처 포인트를 사용한 정렬 전처리 파이프라인을 적용하고, 테스트 시에는 3개의 주요 점 기반 정렬을 사용하며, 키포인트가 없는 프로파일 얼굴의 경우 경계 상자 자르기 기법을 후행 조치로 사용한다.

실험 결과

연구 질문

• RQ1 전이 학습과 삼중체 기반 메트릭 학습을 적용한 깊은 CNN이, 비제약 조건 데이터셋에서 정확도를 유지하거나 향상시키면서도 더 빠른 훈련을 달성할 수 있는가?
• RQ2 IJB-A 벤치마크에서 제안된 삼중체 유사도 임베딩(TSE) 방법이 최신 기술 수준의 방법들과 비교해 얼굴 인식 및 식별 성능에서 어떤가?
• RQ3 저차원 임베딩 공간은 원시적인 깊은 특징에 비해, 해싱 및 시각화와 같은 후속 작업에서 얼마나 향상되는가?
• RQ4 사전 훈련된 가중치와 도메인 특화의 미세조정 조합이, 어려운 실세계 데이터에서 성능을 손상시키지 않고도 훈련 시간을 단축시키는가?
• RQ5 낮은 거짓 수락률(FAR) 조건에서 이 방법은 어떻게 성능을 발휘하는가? 이는 실질적 구현에 매우 중요하다.

주요 결과

• 제안된 방법은 IJB-A 인식 프로토콜에서 1e-4의 거짓 수락률(FAR)에서 참수락률(TAR)이 0.41 ± 0.08을 기록하며, 이는 이전 최신 기술 수준의 방법들을 능가한다.
• FAR = 1e-1일 때, 방법은 TAR 0.945 ± 0.002를 달성하여, 높은 보안 기준에서도 강력한 성능을 보여준다.
• 식별 성능에서, 방법은 순위-1(R1)에서 88%의 정확도와 순위-5(R5)에서 95%의 정확도를 기록하여, IJB-A 데이터셋에서 이전 방법들을 능가한다.
• 모델은 단일 NVIDIA TitanX GPU에서 단지 20시간의 훈련으로 학습되며, 이는 이전 방법들이 수주일 또는 수일이 걸리는 것과 비교해 상당히 빠른 속도이다.
• 128차원의 임베딩은 그 압축성과 분류 능력 덕분에 해싱 및 시각화와 같은 효율적인 후처리 작업을 가능하게 한다.
• 키포인트 기반 정렬이 실패하는 프로파일 얼굴에 대해서도, 경계 상자 자르기 기법을 후행 조치로 사용함으로써 강력한 성능 유지가 가능하다.