[논문 리뷰] Coupled Deep Learning for Heterogeneous Face Recognition

Xiang Wu, Lingxiao Song외 2명|arXiv (Cornell University)|2017. 04. 08.

Face recognition and analysis참고 문헌 32인용 수 11

한 줄 요약

이 논문은 비동일 모odal 간 얼굴 인식을 위한 새로운 딥러닝 프레임워크인 커플드 딥러닝(CDL)을 제안한다. CDL은 추적 노름과 블록-대각형 사전 정보를 유사도 제약 조건으로 사용하여 NIR과 VIS 얼굴 이미지를 공유된 특징 공간에서 정렬하고, 교차 모달 랭킹을 통합하여 특징의 구분 능력을 향상시킨다. CDL은 CASIA NIR-VIS 2.0 및 스케치-사진 데이터베이스에서 최신 기술을 크게 능가하며, 98.62%의 랭크-1 정확도와 FAR=0.1%일 때 98.32%의 인증률을 달성한다.

ABSTRACT

Heterogeneous face matching is a challenge issue in face recognition due to large domain difference as well as insufficient pairwise images in different modalities during training. This paper proposes a coupled deep learning (CDL) approach for the heterogeneous face matching. CDL seeks a shared feature space in which the heterogeneous face matching problem can be approximately treated as a homogeneous face matching problem. The objective function of CDL mainly includes two parts. The first part contains a trace norm and a block-diagonal prior as relevance constraints, which not only make unpaired images from multiple modalities be clustered and correlated, but also regularize the parameters to alleviate overfitting. An approximate variational formulation is introduced to deal with the difficulties of optimizing low-rank constraint directly. The second part contains a cross modal ranking among triplet domain specific images to maximize the margin for different identities and increase data for a small amount of training samples. Besides, an alternating minimization method is employed to iteratively update the parameters of CDL. Experimental results show that CDL achieves better performance on the challenging CASIA NIR-VIS 2.0 face recognition database, the IIIT-D Sketch database, the CUHK Face Sketch (CUFS), and the CUHK Face Sketch FERET (CUFSF), which significantly outperforms state-of-the-art heterogeneous face recognition methods.

연구 동기 및 목표

• NIR과 VIS 모달 간 큰 도메인 차이와 제한된 쌍화된 훈련 데이터 문제를 해결한다.
• 일조, 센서 유형 등 모달 고유의 외관 차이로 인한 내부 클래스 변동성을 줄여 매칭 정확도를 향상시킨다.
• 제한된 NIR-VIS 쌍화된 샘플에서 대규모 VIS 데이터를 활용해 일반화 능력을 향상시키는 딥러닝 프레임워크를 개발한다.
• 공유된 임bedding 공간에서 유사도 및 랭킹 제약 조건을 공동 최적화하여 특징의 구분 능력과 모달 불변성을 향상시킨다.
• 저랭크 및 블록-대각형 구조를 갖는 제약된 파라미터 공유와 반복 최적화를 통한 CNN의 효과적인 엔드 투 엔드 훈련을 가능하게 한다.

제안 방법

• VIS와 NIR 투영 행렬 간 상관관계를 강제하기 위해 추적 노름과 블록-대각형 사전 정보 제약 조건을 결합한 커플드 딥러닝(CDL) 목적 함수를 도입한다.
• 비볼록인 추적 노름 제약 조건을 미분 가능하게 최적화하기 위해 근사 변분 공식을 사용하여 엔드 투 엔드 backpropagation를 가능하게 한다.
• 삼중체 샘플(한 개의 NIR, 두 개의 다른 신원의 VIS 이미지)에 대해 교차 모달 랭킹 손실을 통합하여 클래스 간 간격을 최대화하고 구분 능력을 향상시킨다.
• 교차 최적화를 통해 딥 네트워크 파라미터와 저랭크 구조를 동시에 최적화하여 수렴성과 일반화 능력을 향상시킨다.
• 모달 간 얕은 층의 가중치를 공유하여 제한된 쌍화된 데이터에서 과적합을 줄이고 파라미터 효율성을 높인다.
• 혼합 손실(유사도 제약 조건이 있는 소프트맥스 + 교차 모달 랭킹)을 사용하여 SGD를 통해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 유사도 제약 조건(추적 노름과 블록-대각형 사전 정보)이 이질적 얼굴 인식에서 모달 고유의 변동성을 효과적으로 줄이고 신원 정보를 유지할 수 있는가?
• RQ2 소수의 쌍화된 샘플만 존재할 경우 교차 모달 랭킹 손실이 특징의 구분 능력과 일반화 능력을 향상시키는가?
• RQ3 제안된 근사 변분 공식이 엔드 투 엔드 CNN 프레임워크에서 고차원 추적 노름 제약 조건을 효율적으로 최적화할 수 있는가?
• RQ4 다양한 이질적 얼굴 인식 벤치마크에서 CDL은 최신 기술 대비 정밀도와 내구성 측면에서 어떻게 비교되는가?
• RQ5 파라미터 공유와 공동 최적화를 통해 대규모 VIS 데이터를 활용할 경우 제한된 NIR-VIS 쌍화된 데이터셋에서 성능 향상은 어느 정도 이루어지는가?

주요 결과

• CDL은 CASIA NIR-VIS 2.0 데이터베이스에서 98.62%의 랭크-1 정확도를 달성하여 이전 최신 기술인 IDR(91.88%)를 크게 능가한다.
• FAR=0.1%일 때 CDL는 98.32%의 인증률을 기록하여 IDR(85.31%)와 다른 CNN 기반 방법들을 능가한다.
• IIIT-D 스케치 데이터베이스에서 CDL는 85.35%의 랭크-1 정확도를 달성하여 모든 다른 CNN 기반 방법과 기존 스케치-사진 인식 기술을 초월한다.
• 유사도 제약 조건이 포함된 결과는 표준 소프트맥스 감독 대비 FAR=0.1%일 때 인증률을 2.20% 향상시키며, FAR=0.01%일 때도 2.20% 향상시킨다.
• 교차 모달 랭킹 손실만 사용할 경우 소프트맥스에 유사도 제약 조건을 결합한 경우에 비해 성능이 열등하여, 최적 성능을 위해 두 구성 요소가 모두 필요하다는 것을 시사한다.
• CDL는 매우 낮은 FAR(예: 0.0001%)에서도 강력한 성능을 유지하며, 약 75%의 인증률을 기록한다. 이는 IDR(55%) 및 고바르 기반 모델(40% 이하)에 비해 뚜렷이 뛰어나다.