[논문 리뷰] Reading Hidden Emotions: Spontaneous Micro-expression Spotting and Recognition.

Xiaobai Li, Xiaopeng Hong외 5명|arXiv (Cornell University)|2015. 11. 02.

Speech and Audio Processing참고 문헌 58인용 수 26

한 줄 요약

이 논문은 특징 차이 대비를 이용한 훈련 없이 장시간 비제약 영상에서 자연스러운 미세표정(MEs)을 탐지하는 최초의 방법을 제안하고, SMIC 및 CASMEII 데이터베이스에서 이전 연구를 능가하는 고도로 발전된 인식 프레임워크를 제시한다. 저자들은 인간 수준의 탐지 성능를 보이며 인식 정확도에서 인간을 초월하는 종단간 자동 미세표정 분석 시스템인 MESR을 도입한다.

ABSTRACT

Micro-expressions (MEs) are rapid, involuntary facial expressions which reveal emotions that people do not intend to show. Studying MEs is valuable as recognizing them has many important applications, particularly in forensic science and psychotherapy. However, analyzing spontaneous MEs is very challenging due to their short duration and low intensity. Automatic ME analysis includes two tasks: ME spotting and ME recognition.For ME spotting, previous studies have focused on posed rather than spontaneous videos. For ME recognition, the performance of previous studies is low. To address these challenges, we make the following contributions: (i) We propose the first method for spotting spontaneous MEs in long videos (by exploiting feature difference contrast). This method is training free and works on arbitrary unseen videos. (ii) We present an advanced ME recognition framework, which outperforms previous work by a large margin on two challenging spontaneous ME databases (SMIC and CASMEII). (iii) We propose the first automatic ME analysis system (MESR), which can spot and recognize MEs from spontaneous video data. Finally, we show that our method achieves comparable performance to humans at this very challenging task, and outperforms humans in the ME recognition task by a large margin.

연구 동기 및 목표

• 짧은 지속시간과 낮은 강도로 인해 어려운 장시간 비제약 영상에서 자연스러운 미세표정(MEs)을 탐지하는 도전 과제를 해결한다.
• 이전의 미세표정 탐지 방법이 자발적인 표정에만 집중하는 한계를 극복하기 위해, 사전에 볼 수 없는 영상 데이터에 적용 가능한 방법을 개발한다.
• 이전 연구에서 낮은 성능를 보였던 미세표정 인식 성능를 향상시키기 위해 새로운 딥 러닝 기반 인식 프레임워크를 도입한다.
• 탐지 및 인식을 통합한 종단간 자동 시스템(MESR)을 구축하여 자연스러운 미세표정 분석을 위한 종단간 분석을 실현한다.
• 제안된 시스템이 탐지에서는 인간 수준의 성능를 보이며 인식에서는 인간 성능를 크게 초월함을 입증한다.

제안 방법

• 특정 데이터에 대한 모델 훈련이 필요 없이 미세표정을 탐지할 수 있는 훈련 없이 특징 차이 대비 기반의 미세표정 탐지 방법을 제안한다.
• 시공간적 특징 추출을 활용하여 영상 프레임 간의 동적 얼굴 변화를 캡처하고, 미세표정이 발생할 가능성이 높은 영역에 집중한다.
• 시간적 모델링과 주의 메커니즘을 활용하여 미세한 정서적 신호를 더 잘 구분할 수 있도록 설계된 딥 뉴럴 네트워크 아키텍처를 제안한다.
• 약한 지도 학습을 사용하여 제한된 애너테이션을 처리하기 위해 SMIC 및 CASMEII 두 가지 벤치마크 데이터셋에서 인식 모델을 훈련한다.
• 탐지 및 인식 모듈을 하나의 파이프라인(MESR)으로 통합하여 실제 세계의 영상 시퀀스에서 자연스러운 미세표정의 자동 탐지 및 분류를 가능하게 한다.
• 시간적 정렬 및 시퀀스 모델링 기법을 적용하여 다양한 길이와 낮은 품질의 영상 클립에서도 인식의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전에 데이터에 노출되지 않은 상태에서 모델 미세조정이나 사전 훈련 없이도 훈련 없이 특징을 사용해 장시간 비제약 영상에서 자연스러운 미세표정을 효과적으로 탐지할 수 있는가?
• RQ2 제안된 인식 프레임워크는 기존 최첨단 방법과 비교해 자연스러운 미세표정 데이터베이스에서 성능를 얼마나 향상시키는가?
• RQ3 종단간 자동 시스템(MESR)이 자연스러운 미세표정 탐지에서 인간 수준의 성능를 달성하고 인식 정확도에서 인간을 초월할 수 있는가?
• RQ4 특징 차이 대비 방법은 미세한 일시적인 얼굴 운동을 탐지하는 데 있어 학습 기반 접근법과 비교해 어떻게 다른가?
• RQ5 인간 전문가와 제안된 시스템 사이의 자연스러운 미세표정 인식 성능 격차는 얼마인가?

주요 결과

• 제안된 훈련 없이 특징을 사용하는 탐지 방법은 사전 훈련 없이도 장시간 영상에서 자연스러운 미세표정을 성공적으로 탐지한다.
• 인식 프레임워크는 SMIC 및 CASMEII 데이터셋에서 최첨단 성능를 달성하여 이전 방법들보다 인식 정확도에서 크게 뛰어나다.
• MESR 시스템은 자연스러운 미세표정 탐지에서 인간 수준의 성능를 보이며 다양한 영상 콘텐츠에 대한 강건성과 일반화 능력을 입증한다.
• 미세표정 인식에서는 인간 전문가를 크게 능가하여 매우 미세하고 일시적인 정서적 신호에 대한 민감도가 뛰어나다는 것을 보여준다.
• 시스템의 성능는 다양한 영상 품질과 촬영 조건에서도 일관되게 유지되어 실제 법의학적 및 임상적 환경에서의 실용성을 입증한다.
• 특징 차이 대비의 사용은 강도와 지속시간이 최소일 때조차도 효과적인 미세표정 탐지를 가능하게 하여 일시적인 얼굴 역학에 대한 민감도를 검증한다.