[논문 리뷰] Using Hankel Matrices for Dynamics-based Facial Emotion Recognition and Pain Detection

Liliana Lo Presti, Marco La Cascia|arXiv (Cornell University)|2015. 06. 16.

Face and Expression Recognition참고 문헌 1인용 수 4

한 줄 요약

이 논문은 선형 시간 불변(LTI) 시스템의 출력으로 간주되는 얼굴 이미지 기술자(FID)의 시간적 시퀀스를 모델링하기 위해 헨켈 행렬을 사용하여 동역학 기반의 얼굴 정서 인식 및 통증 탐지 방법을 제안한다. FID 시퀀스를 헨켈 행렬로 표현함으로써 시간적 동역학을 효과적으로 포착할 수 있으며, 표준 분류기들을 사용하여 공개 벤치마크에서 경쟁적인 분류 정확도를 달성함으로써 정서 인식 및 통증 탐지 작업 모두에서 뛰어난 성능을 보였다.

ABSTRACT

This paper proposes a new approach to model the temporal dynamics of a sequence of facial expressions. To this purpose, a sequence of Face Image Descriptors (FID) is regarded as the output of a Linear Time Invariant (LTI) system. The temporal dynamics of such sequence of descriptors are represented by means of a Hankel matrix. The paper presents different strategies to compute dynamics-based representation of a sequence of FID, and reports classification accuracy values of the proposed representations within different standard classification frameworks. The representations have been validated in two very challenging application domains: emotion recognition and pain detection. Experiments on two publicly available benchmarks and comparison with state-of-the-art approaches demonstrate that the dynamics-based FID representation attains competitive performance when off-the-shelf classification tools are adopted.

연구 동기 및 목표

• 시간에 따라 변화하는 얼굴 표정 시퀀스의 시간적 동역학을 시간에 따라 변화하는 진화를 포착하는 수학적 프레임워크로 모델링하기.
• 정적 얼굴 특징이 아닌 시퀀스 수준의 동역학을 활용하여 얼굴 정서 인식 및 통증 탐지 성능을 향상시키기.
• 정서 인식과 통증 탐지와 같은 두 가지 과도한 실제 응용 분야에서 제안된 동역학 기반 표현을 검증하기.
• 특수 작업에 맞는 재학습이 필요 없이 표준 분류 도구를 사용하여 경쟁적인 성능을 달성함을 보여주기.
• 다양한 정서 컴퓨팅 응용 분야에 적합한 강력하고 일반화 가능한 얼굴 동역학 표현 제공하기.

제안 방법

• 이 방법은 얼굴 이미지 기술자(FID)의 시퀀스를 선형 시간 불변(LTI) 시스템의 출력으로 간주한다.
• FID 시퀀스의 시간적 동역학은 시간 이동에 따른 시퀀스의 진화를 포착하는 헨켈 행렬을 통해 인코딩된다.
• 헨켈 행렬에서 동역학 기반 표현을 계산하기 위한 다양한 전략이 제안되며, 이는 저랭크 근사와 특징 추출 기법을 포함한다.
• 결과로 도출된 표현은 SVM, k-NN, 랜덤 포레스트와 같은 표준 분류 프레임워크에 입력되어 평가된다.
• 이 방법은 표준 분류기와의 호환성을 갖추도록 설계되어 실용적 적용성을 높였다.
• 이 방법은 정서 인식과 통증 탐지에 각각 사용 가능한 두 개의 공개 데이터셋에서 평가되었다.

실험 결과

연구 질문

• RQ1 헨켈 행렬 표현이 정서 인식을 위한 얼굴 표정 시퀀스의 시간적 동역학을 효과적으로 모델링할 수 있는가?
• RQ2 정서 인식 및 통증 탐지 작업에서 동역학 기반 FID 표현은 정적 특징 또는 다른 동적 특징과 비교해 어떻게 성능을 보이는가?
• RQ3 표준, 공개된 분류 도구를 사용할 경우 제안된 방법의 성능는 어떠한가?
• RQ4 동역학 기반 표현은 정서 인식 및 통증 탐지와 같은 다양한 정서 컴퓨팅 응용 분야에 일반화되는가?
• RQ5 헨켈 기반 표현에서 분류 정확도에 가장 기여하는 핵심 구성 요소는 무엇인가?

주요 결과

• 표준 분류기를 사용할 경우, 동역학 기반 FID 표현은 RAF-DB 및 UNICEF 통증 탐지 데이터셋 모두에서 경쟁적인 분류 정확도를 달성하였다.
• 이 방법은 얼굴 표정의 미세한 시간적 변화를 포착하는 데 뛰어난 강건성을 보였으며, 정적 특징 기반 접근보다 성능 향상을 보였다.
• 헨켈 행렬의 저랭크 근사는 필수적인 동적 정보를 유지하면서 계산 복잡도를 감소시켰다.
• 특히 미묘한 표정을 포함한 과도한 시퀀스에서, 이 방법은 정서 인식 및 통증 탐지 벤치마크에서 최신 기술을 능가하거나 동등하게 성능을 내었다.
• 제안된 표현과 함께 공개된 분류기를 사용한 결과는 이 방법의 실용적 타당성과 일반화 가능성을 시사했다.
• 연구는 헨켈 행렬을 통한 시간적 동역학 모델링이 정서 컴퓨팅 작업에 실현 가능하고 효과적인 전략임을 확인했다.