[논문 리뷰] Wasserstein CNN: Learning Invariant Features for NIR-VIS Face Recognition

Ran He, Xiang Wu외 2명|arXiv (Cornell University)|2017. 08. 08.

Face recognition and analysis참고 문헌 48인용 수 29

한 줄 요약

이 논문은 NIR-VIS 얼굴 인식을 위한 새로운 딥러닝 프레임워크인 워샤르스타인 CNN(WCNN)을 제안한다. 이는 모odal별 특징 분포 간 워샤르스타인 거리 최소화와 과적합을 완화하기 위한 저랭크 제약을 동시에 적용한다. 엔드 투 엔드 훈련을 통해 모달리티 불변 특징을 학습함으로써, 세 가지 벤치마크 데이터베이스에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 저랭크 정규화를 적용한 경우 BUAA NIR-VIS 데이터셋에서 랭크-1 정확도가 97.4%에 이르렀다.

ABSTRACT

Heterogeneous face recognition (HFR) aims to match facial images acquired from different sensing modalities with mission-critical applications in forensics, security and commercial sectors. However, HFR is a much more challenging problem than traditional face recognition because of large intra-class variations of heterogeneous face images and limited training samples of cross-modality face image pairs. This paper proposes a novel approach namely Wasserstein CNN (convolutional neural networks, or WCNN for short) to learn invariant features between near-infrared and visual face images (i.e. NIR-VIS face recognition). The low-level layers of WCNN are trained with widely available face images in visual spectrum. The high-level layer is divided into three parts, i.e., NIR layer, VIS layer and NIR-VIS shared layer. The first two layers aims to learn modality-specific features and NIR-VIS shared layer is designed to learn modality-invariant feature subspace. Wasserstein distance is introduced into NIR-VIS shared layer to measure the dissimilarity between heterogeneous feature distributions. So W-CNN learning aims to achieve the minimization of Wasserstein distance between NIR distribution and VIS distribution for invariant deep feature representation of heterogeneous face images. To avoid the over-fitting problem on small-scale heterogeneous face data, a correlation prior is introduced on the fully-connected layers of WCNN network to reduce parameter space. This prior is implemented by a low-rank constraint in an end-to-end network. The joint formulation leads to an alternating minimization for deep feature representation at training stage and an efficient computation for heterogeneous data at testing stage. Extensive experiments on three challenging NIR-VIS face recognition databases demonstrate the significant superiority of Wasserstein CNN over state-of-the-art methods.

연구 동기 및 목표

• 이질적 얼굴 인식(HFR)에서 큰 클래스 내 변동성과 제한된 쌍화된 훈련 샘플 문제를 해결하기 위해.
• 근적외선(NIR)과 가시광선(VIS) 얼굴 이미지 간 격차를 줄이기 위해 모달리티 불변 딥 특징을 학습하기 위해.
• 작은 규모의 NIR-VIS 데이터셋에서 훈련된 딥 모델의 과적합을 방지하기 위해 완전 연결층에 저랭크 상관관계 사전을 적용하기 위해.
• 특징 표현과 모달 간 분포 정렬을 동시에 최적화하는 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.

제안 방법

• WCNN는 세 가지 고수준 구성 요소를 가진 공유 네트워크 아키텍처를 사용한다: 모달리티별 NIR 브랜치, 모달리티별 VIS 브랜치, 공유 모달리티 불변 특징 레이어.
• 공유 레이어는 NIR 및 VIS 이미지의 특징 분포 간 워샤르스타인 거리를 최소화하도록 훈련되어, 분포 정렬을 촉진하고 감지 격차를 줄인다.
• 완전 연결층에 상관관계 사전를 통해 저랭크 제약을 적용하여 파rameter 공간을 줄이고, 작은 데이터셋에서의 과적합을 방지한다.
• 결합 최적화는 교대 최소화를 통해 해결되어, 효율적인 엔드 투 엔드 훈련 및 추론을 가능하게 한다.
• 네트워크는 대규모 VIS 얼굴 데이터로 사전 훈련되고, 쌍화된 NIR-VIS 데이터로 미세 조정되어 정체성 인식 특징을 전이한다.
• 메서드는 CASIA, BUAA, MSU-MFV의 세 가지 도전적인 NIR-VIS 데이터베이스에서 표준 프로토콜을 사용해 평가되었다.

실험 결과

연구 질문

• RQ1 워샤르스타인 거리가 딥러닝 프레임워크 내에서 NIR과 VIS 얼굴 특징 간 분포 격차를 효과적으로 줄일 수 있는가?
• RQ2 완전 연결층에 저랭크 제약을 통합함으로써, 작은 규모의 NIR-VIS 데이터셋에서 일반화 성능이 향상되는가?
• RQ3 분포 정렬과 특징 학습을 동시에 최적화하는 엔드 투 엔드 결합 최적화가 단계별 또는 별도의 훈련 전략보다 우수한가?
• RQ4 단일 공유 네트워크 아키텍처가 이질적 모달 간 얼굴 인식을 위해 모달리티별 및 모달리티 불변 특징을 효과적으로 학습할 수 있는가?
• RQ5 분포 정렬(워샤르스타인을 통한)과 파rameter 정규화(저랭크를 통한) 중 어느 것이 정확도 향상에 더 큰 기여를 하는가?

주요 결과

• BUAA NIR-VIS 데이터베이스에서, 저랭크 제약을 적용한 WCNN는 랭크-1 정확도 97.4%를 달성하여 이전 최고 성능 방법(94.8%)을 크게 앞섰다.
• FAR=0.1%일 때, WCNN+저랭크의 인증률은 91.9%에 이르렀으며, 베이스라인 H2(LBP3) 방법 대비 73.4%에 그쳤다.
• 저랭크 제약의 도입은 과적합 감소를 보여주었으며, 행렬 M^T M의 상관관계 구조를 통해 정규화 후 브랜치 간 상관관계가 강화된 것으로 확인되었다.
• ROC 곡선은 WCNN+저랭크가 모든 베이스라인을 일관되게 능가했음을 보여주었으며, 특히 낮은 거짓 경고율에서 두드러진 성능을 보였다.
• 제거 실험을 통해 워샤르스타인 거리와 저랭크 정규화 모두 필수적임을 확인했다: 둘을 조합하면 최고의 성능를 달성하여 상호 보완적 이점이 있음을 입증했다.
• 모든 세 가지 벤치마크 데이터베이스에서 최신 기술 수준의 성능를 달성하여, 다양한 데이터 분포에 걸쳐 일반화 및 강건성을 입증했다.