[논문 리뷰] Targeting Ultimate Accuracy: Face Recognition via Deep Embedding

Jingtuo Liu, Yafeng Deng외 3명|arXiv (Cornell University)|2015. 06. 24.

Face recognition and analysis참고 문헌 10인용 수 240

한 줄 요약

이 논문은 다중패치 컨볼루션 신경망(CNN)과 딥 메트릭 러닝을 조합하여 고도로 구분 가능한 저차원 임bedding를 학습하는 이단계적 딥 러닝 프레임워크를 제안한다. 표준 프로토콜 하에서 LFW 벤치마크에서 99.77%의 정확도를 달성하여 이전의 최상위 기법들을 크게 능가하며 실용적이고 고정확도의 얼굴 인식 시스템으로 향하는 명확한 길을 제시한다.

ABSTRACT

Face Recognition has been studied for many decades. As opposed to traditional hand-crafted features such as LBP and HOG, much more sophisticated features can be learned automatically by deep learning methods in a data-driven way. In this paper, we propose a two-stage approach that combines a multi-patch deep CNN and deep metric learning, which extracts low dimensional but very discriminative features for face verification and recognition. Experiments show that this method outperforms other state-of-the-art methods on LFW dataset, achieving 99.77% pair-wise verification accuracy and significantly better accuracy under other two more practical protocols. This paper also discusses the importance of data size and the number of patches, showing a clear path to practical high-performance face recognition systems in real world.

연구 동기 및 목표

• 딥 러닝을 활용해 기존 최상위 기법들을 뛰어넘는 얼굴 인식 정확도를 향상시키기 위해.
• 데이터 크기와 패치 구성의 영향을 분석하여 실생활 얼굴 인식을 위한 실용적이고 확장 가능한 시스템을 개발하기 위해.
• 딥 메트릭 러닝이 압축되고 구분력 있는 얼굴 임베딩을 학습하는 데서 수행하는 역할을 탐색하기 위해.
• 구조화된 딥 임베딩과 다중패치 특징 추출을 통해 고정확도의 얼굴 검증이 가능하다는 것을 입증하기 위해.

제안 방법

• 이 방법은 이단계 파이프라인을 활용한다: 첫 번째로, 다중패치 딥 CNN이 얼굴 영역의 국소적 특징을 추출한다.
• 두 번째로, 이러한 특징들이 상호 클래스 간 거리가 최대화되고 내부 클래스 간 거리가 최소화되는 저차원 공간으로 임베딩된다.
• 임베딩 공간의 구분 능력을 최적화하기 위해 트리플릿 손실을 사용하여 네트워크를 훈련시킨다.
• 한 장의 얼굴 이미지에서 유도된 여러 패치는 독립적으로 처리된 후 종합되어 글로벌 임베딩을 형성한다.
• 대규모 얼굴 데이터셋을 활용하여 일반화 능력을 향상시키기 위해 감독 데이터를 사용해 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 표준 LFW 프로토콜뿐 아니라 더 실용적이고 도전적인 설정을 포함한 여러 프로토콜에서 평가된다.

실험 결과

연구 질문

• RQ1 다중패치 특징 추출과 메트릭 러닝을 포함한 딥 러닝 기반 접근법이 최상위 수준의 얼굴 인식 정확도를 달성할 수 있는가?
• RQ2 패치 수와 훈련 데이터 크기가 딥 얼굴 임베딩 모델의 성능에 미치는 영향은 어떠한가?
• RQ3 제안된 이단계적 방법이 표준 및 실용적 평가 프로토콜 양쪽에서 기존 방법들을 능가하는가?
• RQ4 딥 메트릭 러닝은 실생활 얼굴 인식 작업에 잘 일반화되는 매우 구분력 있는 임베딩을 생성할 수 있는가?

주요 결과

• 제안된 방법은 표준 프로토콜 하에서 LFW 데이터셋에서 쌍별 검증 정확도 99.77%를 달성하여 이전의 모든 최상위 기법들을 뛰어넘었다.
• 두 가지 더 실용적인 평가 프로토콜 하에서도 모델이 뚜렷한 성능 향상을 보이며 실생활 조건에 대한 강력한 일반화 능력을 보였다.
• 실험 결과 패치 수와 훈련 데이터 크기를 늘릴수록 성능 향상이 일관되게 발생함을 확인하여 이 접근법의 확장성에 대한 타당성을 입증했다.
• 딥 메트릭 러닝 구성요소가 압축되고 구분력 있는 임베딩 공간을 효과적으로 학습하여 인식 정확도를 향상시켰다.