[논문 리뷰] Shared Representation Learning for Heterogeneous Face Recognition

Yi Dong, Zhen Lei외 2명|arXiv (Cornell University)|2014. 06. 05.

Face recognition and analysis참고 문헌 29인용 수 32

한 줄 요약

이 논문은 국소적 Restricted Boltzmann Machines(RBMs)를 사용하여 Gabor 특징에서 모달리티에 관계없이 일관된 특징을 학습하는 새로운 공유 표현 학습 프레임워크를 제안한다. 국소적으로 RBMs를 적용하여 공유 표현을 추출하고, 이를 PCA와 조합함으로써 스케치-사진 및 NIR-VIS 얼굴 인식 작업에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 CUFS, CASIA HFB, NIR-VIS 2.0 데이터베이스에서 과적합 최소화를 위해 비지도 사전 학습을 활용하여 뛰어난 성능을 발휘한다.

ABSTRACT

After intensive research, heterogenous face recognition is still a challenging problem. The main difficulties are owing to the complex relationship between heterogenous face image spaces. The heterogeneity is always tightly coupled with other variations, which makes the relationship of heterogenous face images highly nonlinear. Many excellent methods have been proposed to model the nonlinear relationship, but they apt to overfit to the training set, due to limited samples. Inspired by the unsupervised algorithms in deep learning, this paper proposes an novel framework for heterogeneous face recognition. We first extract Gabor features at some localized facial points, and then use Restricted Boltzmann Machines (RBMs) to learn a shared representation locally to remove the heterogeneity around each facial point. Finally, the shared representations of local RBMs are connected together and processed by PCA. Two problems (Sketch-Photo and NIR-VIS) and three databases are selected to evaluate the proposed method. For Sketch-Photo problem, we obtain perfect results on the CUFS database. For NIR-VIS problem, we produce new state-of-the-art performance on the CASIA HFB and NIR-VIS 2.0 databases.

연구 동기 및 목표

• 비선형적이고 복잡한 관계를 가지는 이질적 얼굴 영상 모달리티(예: 스케치, NIR, VIS) 간의 도전 과제를 해결하기 위해.
• 이질적 얼굴 인식에서 흔한 저자료 환경에서 과적합을 줄이기 위해 비지도 사전 학습을 활용하기 위해.
• 국소적 특징 모델링과 공유 표현 학습을 통해 모달리티에 관계없는, 분류에 유용한 표현을 학습하기 위해.
• 기존 최신 기술 수준의 방법들보다 CUFS, CASIA HFB, NIR-VIS 2.0와 같은 벤치마크 데이터베이스에서 인식 정확도를 향상시키기 위해.

제안 방법

• 얼굴의 핵심 포인트에서 국소적 Gabor 특징을 추출하여 질감과 에지 정보를 캡처하기 위해.
• 국소적 특징 패치에 대해 다수의 3층 Restricted Boltzmann Machines(RBMs)을 훈련시어 공유되고 모달리티에 관계없는 표현을 학습하기 위해.
• 가중치 공유와 국소 연결을 갖춘 국소 RBM 아키텍처를 사용하여 비선형 관계를 파rameter 효율적으로 모델링하기 위해.
• 모든 국소 RBMs의 은닉층 표현을 연결하여 전역적 특징 벡터를 형성하기 위해.
• 차원 축소를 위해 차원 분석(PCA)을 적용하여 비분류적 성분을 제거하기 위해.
• 최종 PCA 처리된 공유 표현에서 코사인 유사도를 사용하여 프로브 및 갤러리 이미지를 매칭하기 위해.

실험 결과

연구 질문

• RQ1 비지도 딥 러닝을 통한 RBMs가 이질적 얼굴 영상 모달리티 간의 매우 비선형적인 관계를 효과적으로 모델링할 수 있는가?
• RQ2 일반화 능력과 이질적 얼굴 인식 성능 측면에서 국소 RBM 기반 특징 학습이 전역 또는 컨볼루션 RBM 접근 방식보다 뛰어나게 성능을 내는가?
• RQ3 공유 표현 학습을 통해 얼마나 효과적으로 모달리티 특유의 변동성을 줄일 수 있으며, 동시에 신원을 식별하는 데 중요한 정보를 유지할 수 있는가?
• RQ4 어떤 식으로 RBM 기반 사전 학습 통합이 도전적인 데이터베이스에서 전통적인 PCA 또는 Gabor 전용 기반선 대비 인식 정확도 향상에 기여하는가?

주요 결과

• 제안된 방법은 스케치-사진 얼굴 인식에서 CUFS 데이터베이스에서 완벽한 성능을 달성하여, 처음으로 벤치마크를 포화 상태로 만들었다.
• CASIA HFB 데이터베이스에서 FAR=0.1%일 때 랭크-1 인식률이 90.85%를 기록하여 이전 최신 기술 수준의 방법들을 능가했다.
• 더 도전적인 NIR-VIS 2.0 데이터베이스에서 11개의 주성분을 제거한 상태에서도 랭크-1 인식률이 86.16%에 도달하여, 기준선인 PCA+Sym+HCA 방법(23.7%)을 크게 능가했다.
• 제거된 아웃라이어 분석 결과, 국소 RBMs가 모델 복잡도와 일반화 능력 간의 최적의 트레이드오프를 제공하며, 전역 및 컨볼루션 RBM 변종보다 뛰어난 성능을 보였다.
• RBM의 사용은 제거된 주성분 수에 따른 성능 곡선을 매끄럽게 만들어, 더 높은 내구성과 하이퍼파ram터 튜닝에 대한 민감도 감소를 나타냈다.
• 실패 사례는 주로 자세의 변화, 안경에 반사되는 광원, 표정의 차이에서 기인하며, 이는 스펙트럼의 이질성 조건에서도 여전히 도전적인 문제로 남아 있다.