[논문 리뷰] Deep Learning Face Representation by Joint Identification-Verification

Yi Sun, Xiaogang Wang외 1명|arXiv (Cornell University)|2014. 06. 18.

Face recognition and analysis참고 문헌 28인용 수 1,789

한 줄 요약

이 논문은 깊이 있는 합성곱 신경망인 DeepID2를 제안하며, 얼굴 식별과 확인 신호를 동시에 최적화하여 강력한 얼굴 표현을 학습한다. 식별을 통해 개인 간 차이를 증가시키고, 확인을 통해 개인 내 차이를 줄임으로써, LFW 기준으로 99.15%의 얼굴 확인 정확도를 달성하여 이전 최고 성능 대비 오차율을 67% 감소시켰다.

ABSTRACT

The key challenge of face recognition is to develop effective feature representations for reducing intra-personal variations while enlarging inter-personal differences. In this paper, we show that it can be well solved with deep learning and using both face identification and verification signals as supervision. The Deep IDentification-verification features (DeepID2) are learned with carefully designed deep convolutional networks. The face identification task increases the inter-personal variations by drawing DeepID2 extracted from different identities apart, while the face verification task reduces the intra-personal variations by pulling DeepID2 extracted from the same identity together, both of which are essential to face recognition. The learned DeepID2 features can be well generalized to new identities unseen in the training data. On the challenging LFW dataset, 99.15% face verification accuracy is achieved. Compared with the best deep learning result on LFW, the error rate has been significantly reduced by 67%.

연구 동기 및 목표

• 제약 없는 얼굴 인식에서 개인 내 변동(예: 자세, 조명)과 개인 간 차이를 다루는 데 목적이 있다.
• 학습 데이터 외의 새로운 신원과 작업으로의 일반화 능력을 향상시키는 데 목적이 있다.
• 식별과 확인의 감독 신호를 병합하면 단독으로 사용할 경우보다 열등한 딥러닝 얼굴 표현을 얻을 수 있는지 조사하는 데 목적이 있다.
• 분류 능력과 다양한 얼굴 조건에서의 강건성을 향상시키는 특징 학습 프레임워크를 개발하는 데 목적이 있다.
• 단지 얼굴 영역 입력만을 사용하여 LFW 벤치마크에서 인간 수준의 정확도에 도달하는 데 목적이 있다.

제안 방법

• 8192개의 신원에 대한 다중 클래스 분류인 얼굴 식별과 이미지 쌍에 대한 이진 분류인 얼굴 확인을 감독 신호로 사용하여 깊이 있는 합성곱 신경망을 훈련한다.
• 식별용 교차 엔트로피 손실과 트리플릿 유사한 확인 손실(L2 노름)을 조합한 공동 손실 함수를 활용하여 특징 학습을 최적화한다.
• 각 얼굴 이미지의 다수의 공간 패치와 해상도에서 DeepID2 특징을 추출하여 국소적 및 전반적인 얼굴 패턴을 포착한다.
• 후속 처리를 효율적으로 하기 위해 연결된 DeepID2 특징의 차원을 180 차원으로 줄이기 위해 주성분 분석(PCA)을 적용한다.
• PCA로 감소된 특징에 대해 공동 베이지안 모델을 적용하여 얼굴 확인을 수행하며, 7개의 독립적으로 선택된 패치 세트에 대해 SVM을 통해 최종 점수 융합을 수행한다.
• 개인 내 변동을 특별히 줄이기 위해 동일 신원의 특징을 끌어당기는 마진 기반 확인 손실(L2+)을 사용한다.

실험 결과

연구 질문

• RQ1 식별과 확인 작업의 병렬 감독이 각각 독립적으로 사용할 경우보다 딥러닝 얼굴 표현 학습을 향상시키는가?
• RQ2 식별과 확인 신호의 조합이 학습된 특징의 새로운 신원과 확인 작업으로의 일반화에 어떤 영향을 미치는가?
• RQ3 다양한 확인 손실 함수(L2, L2+, L2-, L1, 코사인) 중에서 개인 내 변동을 줄이는 데 기여하는 상대적 기여도는 어떠한가?
• RQ4 효율적으로 융합된 경우, 여러 얼굴 패치와 해상도에서 유래한 보완적 특징이 확인 정확도 향상에 얼마나 기여하는가?
• RQ5 딥러닝 기반 시스템이 단지 얼굴 영역 입력만을 사용하여 LFW 벤치마크에서 인간 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 DeepID2 모델은 LFW 데이터셋에서 99.15%의 얼굴 확인 정확도를 달성하여, 발표 당시 새로운 최고 성능을 기록했다.
• 식별과 확인 신호를 병행 사용함으로써 이전 최고의 딥러닝 결과(97.45% 정확도) 대비 오차율을 67% 감소시켰다.
• L2+ 확인 손실은 개인 내 거리만 최소화하는 데 특화되어 있으며, L2- 또는 확인 신호 없음 대비 성능 향상이著명하여 개인 내 변동 감소에 기여하는 것으로 확인되었다.
• L2 노름은 L1, 코사인, 또는 확인 신호 없음 대비 확인 정확도에서 뛰어난 성능을 보이며, 개인 내 일관성에 대해 더 강력한 정규화 효과를 제공하는 것으로 나타났다.
• SVM을 사용해 7개의 독립적으로 선택된 패치 세트의 특징을 융합함으로써 확인 정확도가 98.97%에서 99.15%로 향상되었으며, 이는 다중 해상도, 다중 영역 특징 집약의 이점이 있음을 입증했다.
• 모델은 배경 정보나 외부 데이터 없이도 LFW에서 높은 성능를 보이며 새로운 신원과 작업으로의 일반화 능력이 뛰어나다는 점에서 잘 일반화된 것으로 나타났다.