[논문 리뷰] SeqFace: Make full use of sequence information for face recognition

Wei Hu, Yangyu Huang외 4명|arXiv (Cornell University)|2018. 03. 17.

Face recognition and analysis참고 문헌 6인용 수 7

한 줄 요약

SeqFace는 영상에서 얻은 레이블이 없는 얼굴 시퀀스를 활용하여 식별 레이블이 있는 데이터셋과 함께 공동으로 훈련함으로써 얼굴 인식 성능을 향상시키는 새로운 딥러닝 프레임워크를 제안한다. 레이블 스무딩 정규화(LSR)와 새로운 분류적 시퀀스 에이전트(DSA) 손실을 도입하여 특징의 구분 능력을 향상시키며, 단지 ResNet-64 기반 모델을 사용하여 LFW에서 99.83%의 최고 성능, YTF에서 98.12%의 최고 성능을 달성한다.

ABSTRACT

Deep convolutional neural networks (CNNs) have greatly improved the Face Recognition (FR) performance in recent years. Almost all CNNs in FR are trained on the carefully labeled datasets containing plenty of identities. However, such high-quality datasets are very expensive to collect, which restricts many researchers to achieve state-of-the-art performance. In this paper, we propose a framework, called SeqFace, for learning discriminative face features. Besides a traditional identity training dataset, the designed SeqFace can train CNNs by using an additional dataset which includes a large number of face sequences collected from videos. Moreover, the label smoothing regularization (LSR) and a new proposed discriminative sequence agent (DSA) loss are employed to enhance discrimination power of deep face features via making full use of the sequence data. Our method achieves excellent performance on Labeled Faces in the Wild (LFW), YouTube Faces (YTF), only with a single ResNet. The code and models are publicly available on-line (https://github.com/huangyangyu/SeqFace).

연구 동기 및 목표

• 딥러닝 기반 얼굴 인식 모델을 훈련하기 위해 고비용이며 고품질의 대규모 식별 레이블이 부여된 얼굴 데이터셋의 부족 문제를 해결하기 위해.
• 영상에서 추출한 레이블이 없는 얼굴 시퀀스가 특징의 구분 능력을 향상시키는 데 보완적인 훈련 신호로 활용될 잠재력을 탐색하기 위해.
• 식별 레이블이 명시적으로 부여되지 않은 시퀀스 데이터를 기존 얼굴 인식 파ip라인에 효과적으로 통합하는 훈련 프레임워크를 개발하기 위해.
• 시퀀스 데이터를 활용하여 내부 클래스의 밀도와 외부 클래스 간의 간격을 향상시키는 새로운 손실 함수(LSR 및 DSA 손실)를 제안하기 위해.
• 간단한 네트워크 아키텍처(예: ResNet-27/64)를 사용하더라도 시퀀스 데이터 훈련으로 인해 성능 향상이 상당히 이루어질 수 있음을 입증하기 위해.

제안 방법

• 프레임워크는 표준 식별 레이블이 부여된 데이터셋(예: MS-Celeb-1M)과 영상에서 추출한 시간 순서가 부여된 얼굴 클립으로 구성된 시퀀스 데이터셋을 동시에 훈련하는 데 사용되는 CNN을 공동으로 훈련한다.
• 레이블 스무딩 정규화(LSR)를 사용하여 주요 손실(예: 소프트맥스 손실)을 정규화함으로써, 식별 레이블이 명시적으로 부여되지 않은 시퀀스 데이터의 모호함을 처리한다.
• 보조적인 DSA(Discriminative Sequence Agent) 손실을 제안하여, 시퀀스 내에서 동일한 식별자에 속하는 특징의 내부 밀도를 높이고 다른 식별자 간의 분리도를 증가시킴으로써 특징의 구분 능력을 향상시킨다.
• DSA 손실은 시퀀스의 시간적 일관성을 활용하도록 설계되어, 동일 식별자에 속하는 여러 프레임의 특징들이 서로 가까이 뭉쳐지도록 유도하면서도 다른 식별자와는 분리되도록 한다.
• 모델은 주 분류 손실과 DSA 보조 손실의 조합을 통해 엔드 투 엔드로 훈련되며, 이로써 레이블이 부여된 식별자와 레이블이 없는 시퀀스 데이터를 효과적으로 활용할 수 있다.
• 이 프레임워크는 어떤 백본 CNN(예: ResNet)과도 호환되며, ArcFace나 CosFace와 같은 고급 손실 함수로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 레이블이 없는 영상에서 추출한 얼굴 시퀀스를 식별 레이블이 없는 상태에서 효과적으로 활용하여 얼굴 인식 성능을 향상시킬 수 있는가?
• RQ2 명시적인 식별자 레이블이 없는 시퀀스 데이터를 분류 또는 메트릭 학습에 의존하는 딥러닝 프레임워크에 어떻게 통합할 수 있는가?
• RQ3 제안된 DSA 손실이 기존의 보조 손실(예: 중심 손실)보다 시퀀스 데이터를 활용하여 특징의 구분 능력을 향상시키는 데 뛰어난 성능을 보일 수 있는가?
• RQ4 단순한 ResNet 아키텍처가 식별자 데이터와 시퀀스 데이터를 함께 훈련할 경우, 얼마나 높은 성능을 달성할 수 있는가?
• RQ5 LSR와 DSA 손실의 조합이 학습된 얼굴 특징에서 내부 식별자 변동성을 줄이고 외부 식별자 간 거리를 증가시키는 데 기여하는가?

주요 결과

• SeqFace는 LFW 벤치마크에서 99.83%의 검증 정확도를 달성하여, 이전 최고 성능인 ArcFace가 ResNet-50을 사용해 달성한 99.78%를 초월한다.
• YTF 벤치마크에서는 98.12%의 정확도를 기록하여, 이전 최고 성능인 CosFace가 500만 장의 이미지 데이터셋을 사용해 달성한 97.6%를 뛰어넘는다.
• 더 얕은 ResNet-27를 사용하더라도 SeqFace는 LFW에서 99.50%의 정확도, YTF에서 95.7%의 정확도를 달성하여 최소한의 모델 복잡도로도 뛰어난 성능을 보여준다.
• 제거 실험 결과, LSR와 DSA 손실 모두 성능 향상에 기여하는 것으로 확인되었으며, 특히 중심 손실 대비 DSA 손실이 외부 클래스 간 분리도 향상에 뛰어난 성능을 보였다.
• 시퀀스 데이터셋(Celeb-Seq)이 식별자 훈련 데이터셋(MS-Celeb-1M)과 식별자 겹침이 전혀 없는 경우에도 프레임워크가 효과적으로 작동함을 입증하여 일반화 능력을 검증한다.
• 결과적으로 시퀀스 데이터는 고비용의 식별자 레이블이 부여된 데이터셋에 대한 강력하고 확장 가능하며 비용 효율적인 대안이 될 수 있음을 시사한다.