[논문 리뷰] Automatic Recognition of Deceptive Facial Expressions of Emotion.

Ikechukwu Ofodile, Kaustubh Kulkarni외 6명|arXiv (Cornell University)|2017. 07. 13.

Deception detection and forensic psychology참고 문헌 3인용 수 27

한 줄 요약

이 논문은 자동 인식을 위한 진정성과 기만성 표정을 포함한 SASE-FE라는 최초의 데이터셋을 소개한다. 깊이 있는 특징 공간에서 고정점 궤적을 따라 특징을 집계하여 시간-공간 표현을 학습하는 방법을 제안하며, 기만성 표정을 성공적으로 탐지하였다. 연구 결과로는 기만성 표정은 진정성 표정보다 더 어렵게 구분되며, 일부 감정 조합은 더 분류하기 어려운 것으로 나타났다.

ABSTRACT

Humans modify facial expressions in order to mislead observers regarding their true emotional states. Being able to recognize the authenticity of emotional displays is notoriously difficult for human observers. Evidence in experimental psychology shows that discriminative facial responses are short and subtle. This suggests that such behavior would be easier to distinguish when captured in high resolution at an increased frame rate. We are proposing SASE-FE, the first dataset of genuine and deceptive facial expressions of emotions for automatic recognition. We show that overall the problem of recognizing deceptive facial expressions can be successfully addressed by learning spatio-temporal representations of the data. For this purpose, we propose a method that aggregates features along fiducial trajectories in a deeply learnt feature space. Interesting additional results show that on average it is easier to distinguish among genuine expressions than deceptive ones and that certain emotion pairs are more difficult to distinguish than others.

연구 동기 및 목표

• 기분의 미묘함과 짧은 지속성으로 인해 인간이 감지하기 어려운 기만성 표정을 인식하는 데 도전하는 것.
• 고해상도, 고프레임레트 비디오 데이터를 사용하여 기만성 표정을 자동으로 인식하기 위한 데이터 기반 접근법을 개발하는 것.
• 감정의 진정성과 기만성을 포함한 새로운 벤치마크 데이터셋인 SASE-FE를 만들기 위한 목적.
• 다양한 감정 간에 진정성과 기만성 표정을 구별하는 데의 상대적 어려움을 조사하는 것.
• 정적 또는 시간적 특징만을 사용하는 방법에 비해 시간-공간 모델링이 표정 인식 성능을 향상시키는지 평가하는 것.

제안 방법

• 고해상도, 고프레임레트 비디오 시퀀스에서 표정의 특징을 추출하는 딥러닝 프레임워크를 제안한다.
• 고정점 랜드마크를 사용하여 시간에 따라 변화하는 궤적을 정의하여 기만성과 관련된 동적 표면 운동을 캡처한다.
• 이러한 고정점 궤적을 따라 특징 집계를 적용하여 깊이 있는 특징 공간에서 시간-공간 패턴을 모델링한다.
• 진정성과 기만성 감정 표정을 구별하기 위해 표현을 최적화하는 엔드 투 엔드 학습을 활용한다.
• 특징 집계 메커니즘을 통해 시마네-유사 또는 대비 학습 전략을 암묵적으로 활용하여 구별 능력을 향상시킨다.
• 기본적으로 제안된 SASE-FE 데이터셋을 사용하여 기만성의 특징 표현을 학습한다.

실험 결과

연구 질문

• RQ1 고해상도, 고프레임레트 얼굴 영상에서 학습된 시간-공간 표현은 기만성과 진정성 표정을 효과적으로 구별할 수 있는가?
• RQ2 기만성 표정의 인식 성능가 진정성 표정보다 유의미하게 낮은가? 이는 기만성 탐지에 내재된 어려움을 시사하는가?
• RQ3 특정 감정 조합이 더 분류하기 어려운가? 이는 기만성 표정에서 내재된 모호성의 존재를 시사하는가?
• RQ4 고정점 궤적을 따라 특징을 집계하는 것이 다른 특징 추출 방법에 비해 기만성 표정 탐지 성능을 향상시키는가?
• RQ5 제안된 방법의 성능은 새로운 SASE-FE 데이터셋에서 기준 모델과 비교해 볼 때 어떻게 되는가?

주요 결과

• 제안된 방법은 고해상도 영상 데이터에서 분별 가능한 시간-공간 표현을 학습함으로써 기만성 표정을 성공적으로 인식한다.
• 평균적으로 진정성 표정은 기만성 표정보다 더 쉽게 구별되며, 이는 기만성이 표면 운동의 모호성을 증가시킨다는 것을 시사한다.
• 일부 감정 조합은 다른 조합보다 더 어렵게 구별되며, 이는 일부 감정이 기만적 조작에 더 취약하거나 더 쉽게 혼동될 수 있음을 시사한다.
• 깊이 있는 특징 공간에서 고정점 궤적 기반 특징 집계를 사용하면 간단한 기준 모델에 비해 인식 성능이 크게 향상된다.
• SASE-FE 데이터셋은 향후 연구를 위한 새로운 벤치마크를 제공하며, 자동 기만 탐지 방법의 재현 가능한 평가를 가능하게 한다.
• 결과는 높은 시간 해상도와 세밀한 얼굴 운동 모델링이 미묘한 기만적 신호를 탐지하는 데 핵심적이라는 것을 입증한다.