[논문 리뷰] Neural Aggregation Network for Video Face Recognition

Jiaolong Yang, Peiran Ren외 5명|arXiv (Cornell University)|2016. 03. 17.

Face recognition and analysis참고 문헌 42인용 수 45

한 줄 요약

이 논문은 이중 주의 메커니즘을 사용하여 가변 길이의 얼굴 영상 시퀀스로부터 적응형이고 순서에 영향을 받지 않는 특징 집약을 학습하는 신경 집약 네트워크(NAN)를 제안한다. 표준 분류 또는 검증 손실로 훈련된 NAN은 IJB-A, YouTube Face, Celebrity-1000에서 평균 풀링 및 최대 풀링과 같은 베이스라인 방법들을 능가하며, 고품질 프레임을 자동으로 강조하고 노이즈가 있는 프레임을 억제함으로써 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

This paper presents a Neural Aggregation Network (NAN) for video face recognition. The network takes a face video or face image set of a person with a variable number of face images as its input, and produces a compact, fixed-dimension feature representation for recognition. The whole network is composed of two modules. The feature embedding module is a deep Convolutional Neural Network (CNN) which maps each face image to a feature vector. The aggregation module consists of two attention blocks which adaptively aggregate the feature vectors to form a single feature inside the convex hull spanned by them. Due to the attention mechanism, the aggregation is invariant to the image order. Our NAN is trained with a standard classification or verification loss without any extra supervision signal, and we found that it automatically learns to advocate high-quality face images while repelling low-quality ones such as blurred, occluded and improperly exposed faces. The experiments on IJB-A, YouTube Face, Celebrity-1000 video face recognition benchmarks show that it consistently outperforms naive aggregation methods and achieves the state-of-the-art accuracy.

연구 동기 및 목표

• 자세, 조명 및 영상 품질의 변동성에 대해 강건한 고정 크기의 영상 수준 표현을 생성하는 데 도전하는 것.
• 추가적인 감독 없이도 고정된 히우리스틱이 필요 없이 프레임 수준 특징을 적응형으로 가중하는 엔드 투 엔드 학습 가능한 집약 메커니즘을 개발하는 것.
• 고품질의 분류 능력이 뛰어난 얼굴 이미지를 우선시하고 흐린, 가림당하거나 잘 曝광되지 않은 프레임을 억제함으로써 인식 정확도를 향상시키는 것.
• 각 영상에 대해 단일 고정 차원 특징 벡터를 생성함으로써 프레임 간 매칭의 O(n²) 복잡도를 감소시켜 효율적인 유사도 계산을 가능하게 하는 것.

제안 방법

• 네트워크는 두 모듈로 구성된다: 각 입력 얼굴 이미지에서 프레임 수준 특징을 추출하는 깊은 CNN 기반 특징 임bedding 모듈.
• 두 개의 연결된 주의 블록을 갖는 집약 모듈로, 프레임 수준 특징을 선형 조합하여 단일 압축 표현으로 통합하는 적응형이고 콘텐츠 의존적인 가중치를 계산한다.
• 주의 메커니즘은 순서 불변성을 가능하게 하며, 학습된 관련성 점수에 기반해 네트워크가 고품질 프레임을 동적으로 강조할 수 있도록 한다.
• 추가 감독 없이 표준 분류 또는 검증 손실을 사용하여 훈련되므로, 강력한 특징 집약을 위한 엔드 투 엔드 학습이 가능하다.
• 최종 출력은 전체 영상 시퀀스를 나타내는 고정 크기의 128차원 특징 벡터이며, 직접적인 유사도 비교에 적합하다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 명시적 감독 없이도 영상 시퀀스 내에서 고품질 얼굴 이미지를 자동으로 식별하고 강조할 수 있는가?
• RQ2 주의 기반 집약 메커니즘은 표준 풀링 연산보다 더 강건하고 분류 능력이 뛰어난 영상 수준 표현을 생성하는가?
• RQ3 제안된 모델은 계산 및 메모리 효율성을 유지하면서도 비디오 얼굴 인식 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 단일 영상 집약과 비교하여, 동일한 주제의 다수 영상에서 특징을 집약했을 때 모델의 성능은 어떻게 되는가?

주요 결과

• IJB-A 벤치마크에서 NAN은 영상 수준 집약 시 88.04%의 랭크-1 식별 정확도를 기록했으며, 주제 수준 집약 시 90.44%를 달성하여 CNN+AvePool(각각 86.06% 및 84.46%)를 크게 능가했다.
• YouTube Face 데이터셋에서 NAN은 영상 수준 집약 시 82.95%의 랭크-1 정확도를 기록했고, 주제 수준 집약 시 83.33%를 달성하여 베이스라인 CNN+AvePool보다 2퍼센트 이상 높았다.
• Celebrity-1000 데이터셋에서 NAN은 주제 수준 집약을 사용한 오픈 세트 테스트에서 88.76%의 랭크-1 정확도를 기록했으며, CNN+AvePool(84.11%) 및 기타 베이스라인보다 상당한 향상이 있었다.
• 주제 수준 집약 전략은 영상 수준 집약 대비 NAN의 성능을 2.4퍼센트 포인트 향상시켰지만, CNN+AvePool는 동일한 설정에서 성능 저하를 보였다. 이는 NAN이 데이터 변동성에 대해 더 강건함을 시사한다.
• 모델은 뿌연 또는 가림당한 이미지와 같은 저품질 프레임을 자동으로 억제하는 것을 학습하며, 모든 벤치마크에서 일관된 성능 향상으로 이를 입증했다.