[논문 리뷰] DeepID3: Face Recognition with Very Deep Neural Networks

Yi Sun, Ding Liang외 2명|arXiv (Cornell University)|2015. 02. 03.

Face recognition and analysis참고 문헌 16인용 수 895

한 줄 요약

이 논문은 VGG와 GoogLeNet 구성 요소를 기반으로 한 매우 깊은 신경망 아키텍처인 DeepID3를 제안하며, 통합된 식별-검증 감독을 통해 얼굴 인식 성능을 향상시킨다. LFW에서 99.53%의 얼굴 검증 정확도와 96.0%의 랭크-1 식별 정확도를 달성하지만, 잘못 레이블링된 LFW 테스트 쌍을 수정할 경우 성능 향상 효과가 사라진다.

ABSTRACT

The state-of-the-art of face recognition has been significantly advanced by the emergence of deep learning. Very deep neural networks recently achieved great success on general object recognition because of their superb learning capacity. This motivates us to investigate their effectiveness on face recognition. This paper proposes two very deep neural network architectures, referred to as DeepID3, for face recognition. These two architectures are rebuilt from stacked convolution and inception layers proposed in VGG net and GoogLeNet to make them suitable to face recognition. Joint face identification-verification supervisory signals are added to both intermediate and final feature extraction layers during training. An ensemble of the proposed two architectures achieves 99.53% LFW face verification accuracy and 96.0% LFW rank-1 face identification accuracy, respectively. A further discussion of LFW face verification result is given in the end.

연구 동기 및 목표

• 매우 깊은 신경망이 일반 물체 인식에서 성공한 바를 기반으로, 얼굴 인식 성능 향상에 기여할 수 있는지 조사한다.
• 딥러닝 기술의 발전에도 불구하고 인식 정확도를 제한하는 개인 간 변동성(내부 개인 변동성)을 해결한다.
• 복잡한 얼굴 특징을 학습하기 위해 다수의 컨볼루션 및 인셉션 레이어를 스태킹하는 방식의 효과성을 탐색한다.
• LFW와 같은 표준 벤치마크에서 더 깊은 아키텍처가 DeepID2+와 같은 浅층 아키텍처보다 성능을 뛰어나게 할 수 있는지 평가한다.
• LFW 데이터셋의 레이블 오류가 보고된 성능 지표에 미치는 영향을 검토한다.

제안 방법

• VGG와 GoogLeNet 구성 요소를 재사용하여 스택된 컨볼루션 및 인셉션 레이어를 사용해 두 가지 깊은 아키텍처인 DeepID3 net1과 net2를 구축한다.
• 중간 및 최종 특징 추출 레이어에서 통합된 얼굴 식별-검증 감독 신호를 도입하여 개인 간 변동성을 줄인다.
• 일부 DeepID3 네트워크의 고차원 레이어에서 공유되지 않은 가중치를 사용하여 더 풍부한 얼굴 특징 풀을 학습한다.
• 식별을 위해 공동 베이지안 모델을 적용하기 전에 차원 감소를 위해 특징 앙상블과 PCA를 활용하여 약 30,000차원에서 300차원으로 차원을 축소한다.
• 공정한 비교를 위해 DeepID2+와 동일한 데이터셋으로 학습한다.
• 표준 LFW 프로토콜에 따라 얼굴 검증 및 닫힌/열린 집합 식별 작업 모두에 대해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 일반 이미지 인식에서 성공한 매우 깊은 신경망(VGG, GoogLeNet 등)을 얼굴 인식에 효과적으로 적용할 수 있는가?
• RQ2 단일 감독 방식 대비 통합된 식별-검증 감독이 얼굴 인식 벤치마크 성능 향상에 기여하는가?
• RQ3 DeepID2+를 초월해 네트워크 깊이를 증가시키면 LFW에서 측정 가능한 성능 향상이 발생하는가?
• RQ4 LFW 데이터셋의 레이블 오류가 보고된 얼굴 검증 정확도 및 모델 비교에 어떤 영향을 미치는가?
• RQ5 어려운 예시와 잘못 레이블링된 쌍은 깊은 얼굴 인식 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• DeepID3는 표준 프로토콜 하에서 LFW에서 99.53%의 얼굴 검증 정확도를 달성했으며, 이는 DeepID2+의 99.47%보다 약간 높은 성능이다.
• 닫힌 집합 평가에서 모델은 96.0%의 랭크-1 식별 정확도를 기록했으며, 이는 DeepID2+의 95.0%에서 향상된 결과이다.
• LFW에서 3개의 잘못 레이블링된 얼굴 쌍을 수정한 후, DeepID3의 진정된 검증 정확도는 99.52%로 떨어지며, DeepID2+의 수정된 성능와 일치한다.
• DeepID3와 DeepID2+는 모두 9개의 공통된 가짜 양성 및 3개의 공통된 가짜 음성 예측을 하여, 유사한 얼굴 또는 가림을 받은 얼굴에 대한 지속적인 과제를 보여준다.
• 세 개의 잘못 레이블링된 양성 쌍 중 두 개는 다른 사람으로 올바르게 분류되었고, 한 개는 같은 사람으로 잘못 분류되었다.
• DeepID2+보다 훨씬 더 깊은 아키텍처를 사용했음에도 불구하고 LFW에서 성능 향상이 관찰되지 않아, 레이블 노이즈나 데이터셋의 한계로 인해 더 큰 훈련 데이터가 제공되지 않는 한 추가 성능 향상이 제한될 수 있음을 시사한다.