[논문 리뷰] Cross Euclidean-to-Riemannian Metric Learning with Application to Face Recognition from Video

Zhiwu Huang, Ruiping Wang외 3명|arXiv (Cornell University)|2016. 08. 15.

Face recognition and analysis참고 문헌 44인용 수 6

한 줄 요약

이 논문은 유클리드 표현(예: 평균 얼굴 특징)과 리만다이언 군집(예: 비디오 변형을 나타내는 그라스만 또는 SPD 군집) 간의 통합된 거리 척도를 학습하는 새로운 프레임워크인 교차 유클리드-리만 거리 척도 학습(CERML)을 제안한다. 두 공간을 동일한 재생 핵 힐버트 공간(RKHS)으로 매핑함으로써 CERML은 이질적인 데이터 유형 간의 분류적 거리 척도 학습을 가능하게 하며, 네 개의 기준 데이터셋에서 Video-to-Still, Still-to-Video, Video-to-Video 얼굴 인식 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Riemannian manifolds have been widely employed for video representations in visual classification tasks including video-based face recognition. The success mainly derives from learning a discriminant Riemannian metric which encodes the non-linear geometry of the underlying Riemannian manifolds. In this paper, we propose a novel metric learning framework to learn a distance metric across a Euclidean space and a Riemannian manifold to fuse the average appearance and pattern variation of faces within one video. The proposed metric learning framework can handle three typical tasks of video-based face recognition: Video-to-Still, Still-to-Video and Video-to-Video settings. To accomplish this new framework, by exploiting typical Riemannian geometries for kernel embedding, we map the source Euclidean space and Riemannian manifold into a common Euclidean subspace, each through a corresponding high-dimensional Reproducing Kernel Hilbert Space (RKHS). With this mapping, the problem of learning a cross-view metric between the two source heterogeneous spaces can be expressed as learning a single-view Euclidean distance metric in the target common Euclidean space. By learning information on heterogeneous data with the shared label, the discriminant metric in the common space improves face recognition from videos. Extensive experiments on four challenging video face databases demonstrate that the proposed framework has a clear advantage over the state-of-the-art methods in the three classical video-based face recognition tasks.

연구 동기 및 목표

• 이질적인 데이터 표현 방식을 사용하는 비디오 기반 얼굴 인식에서 평균 외형과 패턴 변동성을 융합하는 과제를 해결하기 위해.
• 유클리드 공간과 리만다이언 군집 간에서 작동하는 통합된 거리 척도 학습 프레임워크를 개발하여 인식의 강건성을 향상시키기 위해.
• Video-to-Still, Still-to-Video, Video-to-Video와 같은 표준 비디오 얼굴 인식 작업 세 가지 모두에 효과적인 거리 척도 학습을 가능하게 하기 위해.
• 기존의 리만다이언 거리 척도 학습 방법이 내부 군집 또는 내부 유클리드 학습에만 집중하는 한계를 극복하기 위해.
• 공유된 척도 공간을 통해 비디오 시퀀스의 평균과 분산을 함께 모델링함으로써 성능 향상 여부를 입증하기 위해.

제안 방법

• 핵 임bedding 기법을 사용하여 유클리드 표현과 리만다이언 표현을 모두 동일한 고차원 재생 핵 힐버트 공간(RKHS)으로 매핑한다.
• 핵 함수를 활용해 리만다이언 군집(그라스만 또는 SPD)을 유클리드 공간으로 임베딩함으로써 통합된 공간에서 표준 거리 척도 학습을 가능하게 한다.
• 공통 RKHS에서 단일 시점 유클리드 거리 척도를 학습하여 두 원천 공간의 분류적 정보를 모두 포괄한다.
• 이질적인 시점 간의 공통 레이블 정보를 활용하여 거리 척도 학습을 이끌고 분류 능력을 향상시킨다.
• 거리 척도 학습과 기하학적 일관성을 균형 잡는 통합 목적 함수를 최소화하기 위해 최적화 기법을 적용한다.
• 쿼리 및 갤러리가 서로 다른 대신 정렬된 표현 공간에서 온 것으로 간주함으로써 세 가지 인식 설정을 지원한다.

실험 결과

연구 질문

• RQ1 통합된 거리 척도 학습 프레임워크는 비디오 시퀀스에서 평균 외형과 시간적 변동성을 효과적으로 융합할 수 있는가?
• RQ2 유클리드 공간과 리만다이언 공간 간의 교차 시점 거리 척도 학습은 비디오 기반 얼굴 인식에서 전통적인 내부 공간 거리 척도 학습보다 어떻게 비교되는가?
• RQ3 유클리드 표현과 리만다이언 표현을 통해 평균과 분산을 함께 모델링함으로써 다양한 비디오 데이터셋에서 인식 정확도가 얼마나 향상되는가?
• RQ4 제안된 프레임워크는 아키텍처 수정 없이 다양한 비디오 인식 작업(V2S, S2V, V2V)에 일반화될 수 있는가?
• RQ5 핵 기반 매핑이 교차 공간 거리 척도 학습의 확장성과 성능에 미치는 영향은 무엇인가?

주요 결과

• CERML은 네 개의 도전적인 비디오 얼굴 데이터베이스(YTC, YTF, PaSC, COX)에서 모든 세 가지 비디오 인식 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.
• PaSC에서 CERML-EG는 다양한 설정에서 최신 기술 수준의 방법 DCC보다 V2V 인식에서 약 4%와 10% 향상된 성능을 기록한다.
• COX에서 CERML은 모든 경쟁 방법보다 일관되게 뛰어난 성능을 보이며, 딥 러닝 방법 VGGDeepFace보다 깊이 있는 특징을 사용할 경우 평균 5%의 성능 향상을 기록한다.
• CERML을 통한 평균과 분산 표현의 융합은 단독으로 어떤 표현을 사용하는 것보다 더 뛰어난 성능을 보이며, 이는 분석 연구에서 입증되었다.
• CERML-ES의 최적화 알고리즘이 수십 번의 반복 내에 안정된 목적 함수 값으로 수렴함으로써 양호한 수렴 특성을 보였다.
• CERML은 강력한 일반화 능력을 보이며, 인터넷 및 감시 영상 유사 데이터셋에서 딥 러닝 기반 방법과 비교해 유사하거나 뛰어난 성능을 달성한다.