[논문 리뷰] A Novel Space-Time Representation on the Positive Semidefinite Con for Facial Expression Recognition

Anis Kacem, Mohamed Daoudi외 2명|arXiv (Cornell University)|2017. 07. 20.

Face and Expression Recognition참고 문헌 34인용 수 11

한 줄 요약

이 논문은 고정 질량의 양의 준정부형 행렬의 리만 다양체 위에서 시간적 순서의 얼굴 랜드마크를 궤적으로 모델링하여 얼굴 표정 인식을 위한 새로운 공간-시간 표현을 제안한다. 아핀 불변 형태와 공간 공분산 정보를 통합함으로써 기하학적 도구(예: 시간 정렬 및 적응형 재샘플링)를 사용한 속도 불변 궤적 분석이 가능해지며, CK+, MMI, Oulu-CASIA, AFEW 데이터셋에서 최신 기술 수준의 성능을 달성한다. CK+에서 최대 96.87%의 정확도와 AFEW에서 39.94%의 정확도를 기록하였다.

ABSTRACT

In this paper, we study the problem of facial expression recognition using a novel space-time geometric representation. We describe the temporal evolution of facial landmarks as parametrized trajectories on the Riemannian manifold of positive semidefinite matrices of fixed-rank. Our representation has the advantage to bring naturally a second desirable quantity when comparing shapes -- the spatial covariance -- in addition to the conventional affine-shape representation. We derive then geometric and computational tools for rate-invariant analysis and adaptive re-sampling of trajectories, grounding on the Riemannian geometry of the manifold. Specifically, our approach involves three steps: 1) facial landmarks are first mapped into the Riemannian manifold of positive semidefinite matrices of rank 2, to build time-parameterized trajectories; 2) a temporal alignment is performed on the trajectories, providing a geometry-aware (dis-)similarity measure between them; 3) finally, pairwise proximity function SVM (ppfSVM) is used to classify them, incorporating the latter (dis-)similarity measure into the kernel function. We show the effectiveness of the proposed approach on four publicly available benchmarks (CK+, MMI, Oulu-CASIA, and AFEW). The results of the proposed approach are comparable to or better than the state-of-the-art methods when involving only facial landmarks.

연구 동기 및 목표

• 고정된 변형에 대해 불변인 기하 표현을 사용하여 동적인 얼굴 표정을 모델링하는 도전 과제를 해결하기 위해.
• 표준 아핀-형태 분석을 넘어서 더 높은 분류 능력을 갖추기 위해 공간 공분산을 형태 표현에 통합하기 위해.
• 리만 기하학을 활용하여 얼굴 표정 궤적의 속도 불변 비교 및 분류를 가능하게 하기 위해.
• 양의 준정부형 원뿔 위에서 랜드마크 궤적의 시간 정렬 및 적응형 재샘플링을 위한 계산 도구를 개발하기 위해.
• 단지 얼굴 랜드마크만을 사용하여 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 그램 행렬을 통한 2차원 얼굴 랜드마크 구성의 질량 2의 양의 준정부형 행렬의 리만 다양체로의 매핑.
• 표현의 시간적 변화를 다양체 $\mathcal{S}^{+}(2,n)$ 상의 시간 매개변수화된 궤적으로 표현하기.
• 기하학적 일관성을 확보하기 위해 속도 불변 시간 정렬을 위해 동적 시간 왜곡(DTW)을 적용하기.
• 다양체 위에서 정의된 가까움 측도 $d_{\mathcal{S}^{+}}$를 사용하여 궤적 간 (비)유사도를 계산하기.
• 궤적 길이를 표준화하고 분류에 대한 강건성을 향상시키기 위해 적응형 재샘플링을 구현하기.
• $d_{\mathcal{S}^{+}}$ 거리 기반 커널을 사용한 쌍별 근접 함수 SVM(ppfSVM)을 적용하여 효과적인 분류 수행하기.

실험 결과

연구 질문

• RQ1 어떻게 얼굴 랜드마크 궤적을 리만 프레임워크 내에서 형태와 공간 공분산 정보를 모두 유지하는 기하학적 방식으로 표현할 수 있는가?
• RQ2 비유클리드 다양체 상에서 속도 불변 방식으로 동적 얼굴 표정 시퀀스를 비교하고 정렬하는 데 가장 효과적인 방법은 무엇인가?
• RQ3 형태 표현에 공간 공분산을 통합할 경우, 아핀-형태 전용 방법에 비해 얼굴 표정 인식 성능은 얼마나 향상되는가?
• RQ4 시간 정렬 및 적응형 재샘플링과 같은 기하 도구가 벤치마크 데이터셋에서 분류 정확도 향상에 얼마나 기여하는가?
• RQ5 ppfSVM 분류기는 양의 준정부형 원뿔 상의 비유클리드 궤적 표현에서 효과적으로 학습을 수행할 수 있는가?

주요 결과

• 제안된 $d_{\mathcal{S}^{+}}$ 거리가 $\mathcal{S}^{+}(2,n)$ 상에서 평탄한 프로베니우스 거리와 $d_{\mathcal{P}_n}$ 거리보다 뛰어나며, CK+에서 96.87%의 정확도를 달성하였다.
• DTW를 통한 시간 정렬은 CK+에서 약 6% 향상되었고, MMI에서는 약 12% 향상되어 속도 불변 분석에서의 핵심적 역할을 입증하였다.
• 적응형 재샘플링은 MMI에서 약 5% 향상되었고, AFEW에서는 약 3% 향상되어 분류를 위한 궤적 일관성을 향상시켰다.
• ppfSVM 분류기는 AFEW에서 39.94%의 정확도를 기록하여 단지 얼굴 랜드마크만을 사용하는 방법 중 두 번째로 높은 성능을 달성하였고, 다수결 투표 방식의 K-NN(29.77%)를 능가하였다.
• 외관 특징을 사용하지 않고도 CK+, MMI, Oulu-CASIA, AFEW 등 네 가지 기준 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성하였다.
• 그라스만 기반 방법에 비해 본 프레임워크의 우월성은 양의 준정부형 표현을 통한 공간 공분산의 통합이 추가적인 분류 능력을 제공한다는 점을 시사한다.