[논문 리뷰] Video Face Recognition: Component-wise Feature Aggregation Network (C-FAN)

Sixue Gong, Yichun Shi외 1명|arXiv (Cornell University)|2019. 02. 19.

Face recognition and analysis참고 문헌 41인용 수 10

한 줄 요약

이 논문은 영상 얼굴 인식 성능을 햖을 때 각각의 딥 특징 성분에 대해 적응형 품질 점수를 학습하여 고품질의 얼굴 특징을 선택적으로 융합하는 구성요소별 특징 융합 네트워크인 C-FAN을 제안한다. 이는 512차원의 압축 표현을 사용하여 IJB-S, YouTube Faces, IJB-A 벤치마크에서 평균 풀링 및 인스턴스 수준의 융합 방식을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

We propose a new approach to video face recognition. Our component-wise feature aggregation network (C-FAN) accepts a set of face images of a subject as an input, and outputs a single feature vector as the face representation of the set for the recognition task. The whole network is trained in two steps: (i) train a base CNN for still image face recognition; (ii) add an aggregation module to the base network to learn the quality value for each feature component, which adaptively aggregates deep feature vectors into a single vector to represent the face in a video. C-FAN automatically learns to retain salient face features with high quality scores while suppressing features with low quality scores. The experimental results on three benchmark datasets, YouTube Faces, IJB-A, and IJB-S show that the proposed C-FAN network is capable of generating a compact feature vector with 512 dimensions for a video sequence by efficiently aggregating feature vectors of all the video frames to achieve state of the art performance.

연구 동기 및 목표

• 감시 환경에서 노이즈가 많고 품질이 낮은 영상 프레임 문제를 해결하기 위해, 적응형 특징 융합을 통해 얼굴 표현 학습을 향상시키는 것.
• 품질이 낮은 프레임에서 신뢰할 수 없는 성분을 억제하면서도, 구분력 있는 얼굴 특징만 선택적으로 유지하는 방법을 개발하는 것.
• 전체 특징 벡터에 동일한 가중치를 적용하는 대신, 각 성분의 품질 점수를 예측하여 특징 수준의 품질 변동성을 모델링하는 것.
• 시간적 정보와 다중 시점 정보를 유지하면서 다중 프레임 정보를 융합하여 강건한 영상 얼굴 인식을 달성하는 것.
• IJB-S, YouTube Faces, IJB-A와 같은 표준 벤치마크에서 최신 기술 성능을 입증하는 것.

제안 방법

• 정적 이미지 얼굴 인식을 위한 사전 훈련된 기본 CNN을 사용한 후, 딥 특징 벡터의 각 성분에 대해 품질 점수를 예측하는 새로운 융합 모듈을 적용한다.
• 학습된 구성요소별 가중치를 적용하여 특징 성분의 가중 평균을 계산하며, 각 가중치는 해당 성분의 신뢰도를 반영한다.
• 고품질 프레임에서의 성분에 대해 더 높은 가중치를 부여하고, 노이즈가 많거나 정보가 적은 성분에 대해서는 낮은 가중치를 적용하도록, 손실 함수를 통해 품질 점수를 종합적으로 훈련한다.
• 먼저 대규모 정적 이미지 데이터셋(예: MS-Celeb-1M)에서 사전 훈련한 후, 합성 템플릿을 사용하여 구성요소별 품질 점수를 학습하기 위해 미세조정한다.
• 추론 과정에서는 동일한 네트워크가 영상 시퀀스의 모든 프레임에서 각 특징 성분을 독립적으로 학습된 품질 점수를 기반으로 융합한다.
• 최종 얼굴 표현은 모든 프레임 특징의 구성요소별 가중 평균에서 유도된 압축된 512차원 벡터이다.

실험 결과

연구 질문

• RQ1 학습 가능한 품질 점수를 갖춘 구성요소별 특징 융합 방식이 평균 풀링 또는 인스턴스 수준의 가중치 방식보다 영상 얼굴 인식 성능을 향상시키는가?
• RQ2 예측된 품질 점수는 시각적 이미지 품질과 얼굴 정보의 양에 강하게 상관관계가 있는가?
• RQ3 노이즈, 자세 변화, 가림 정도가 다양하게 포함된 다양한 영상 데이터셋에 대해 이 방법이 일반화되는가?
• RQ4 IJB-S, YouTube Faces, IJB-A와 같은 표준 벤치마크에서 최신 기술 성능을 달성할 수 있는가?
• RQ5 특히 도전적인 감시 조건에서 개방형 및 폐쇄형 식별 프로토콜 모두에서 이 방법의 성능은 어떠한가?

주요 결과

• C-FAN은 IJB-S 데이터셋에서 최신 기술 성능을 달성하였으며, 1% FPIR 식별 정확도가 86.88% ± 4.70%이고, 10% FPIR 정확도가 92.85% ± 1.02%로 이전 방법들을 능가한다.
• YouTube Faces 데이터셋에서 C-FAN은 96.50% ± 0.90%의 검증 정확도를 기록하여 이전 최고 기술인 NAN을 0.78% 초월한다.
• IJB-A 데이터셋에서 C-FAN은 폐쇄형 프로토콜 하에서 랭크-1 식별 정확도가 94.57% ± 0.82%이며, 개방형 프로토콜 하에서 1% FPIR일 때 86.88% ± 4.70%의 정확도를 기록한다.
• 모든 벤치마크에서 평균 풀링 및 인스턴스 수준의 특징 가중치 방식보다 구성요소별 융합 전략이 크게 승리하며, 각 성분에 대한 주의 메커니즘의 유용성을 입증한다.
• 예측된 품질 점수는 시각적 이미지 품질과 강한 상관관계를 보이며, 정성적 분석 및 분석 실험을 통해 확인되었다.
• IJB-S 벤치마크의 다섯 가지 얼굴 식별 프로토콜 전반에서 일관된 향상이 이루어졌으며, 이는 도전적인 감시 환경에서도 강건함을 확인한다.