[논문 리뷰] OFF-ApexNet on Micro-expression Recognition System

Sze‐Teng Liong, Y.S. Gan외 3명|arXiv (Cornell University)|2018. 05. 10.

Emotion and Mood Recognition참고 문헌 3인용 수 5

한 줄 요약

이 논문은 꼭지 프레임에서 추출한 광학 흐름 특징과 기준 온셋 프레임을 활용하여 운동 표현을 향상시키는 새로운 CNN 기반 미세표정 인식 프레임워크인 OFF-ApexNet을 제안한다. 수평 및 수직 광학 흐름 입력을 사전 훈련된 CNN에 융합함으로써, 다중 데이터베이스, 한 명의 피험자를 제외한 교차 검증에서 74.60%의 정확도와 71.04%의 F-measure를 달성하였으며, 이는 SMIC, CASME II, SAMM 데이터셋 간의 첫 번째 교차 데이터셋 검증을 의미한다.

ABSTRACT

When a person attempts to conceal an emotion, the genuine emotion is manifest as a micro-expression. Exploration of automatic facial micro-expression recognition systems is relatively new in the computer vision domain. This is due to the difficulty in implementing optimal feature extraction methods to cope with the subtlety and brief motion characteristics of the expression. Most of the existing approaches extract the subtle facial movements based on hand-crafted features. In this paper, we address the micro-expression recognition task with a convolutional neural network (CNN) architecture, which well integrates the features extracted from each video. A new feature descriptor, Optical Flow Features from Apex frame Network (OFF-ApexNet) is introduced. This feature descriptor combines the optical ow guided context with the CNN. Firstly, we obtain the location of the apex frame from each video sequence as it portrays the highest intensity of facial motion among all frames. Then, the optical ow information are attained from the apex frame and a reference frame (i.e., onset frame). Finally, the optical flow features are fed into a pre-designed CNN model for further feature enhancement as well as to carry out the expression classification. To evaluate the effectiveness of OFF-ApexNet, comprehensive evaluations are conducted on three public spontaneous micro-expression datasets (i.e., SMIC, CASME II and SAMM). The promising recognition result suggests that the proposed method can optimally describe the significant micro-expression details. In particular, we report that, in a multi-database with leave-one-subject-out cross-validation experimental protocol, the recognition performance reaches 74.60% of recognition accuracy and F-measure of 71.04%. We also note that this is the first work that performs cross-dataset validation on three databases in this domain.

연구 동기 및 목표

• 저강도 및 짧은 지속시간으로 인해 감지하기 어려운 미세표정을 인식하는 데 도전하는 것.
• 기존 방법에서 수작업으로 생성한 특징의 한계를 극복하기 위해 광학 흐름을 딥러닝과 융합하여 더 나은 운동 표현을 확보하는 것.
• 다양한 자발적 미세표정 데이터베이스 간의 교차 데이터셋 일반화를 가능하게 하는 통합 프레임워크를 개발하는 것.
• 최고의 얼굴 운동 강도를 포함하는 꼭지 프레임에 초점을 맞춤으로써 분류 성능를 향상시키는 것.
• 이전에 문헌에서 다루지 않은 분야인 미세표정 인식에서 교차 데이터셋 평가의 기준을 설정하는 것.

제안 방법

• 모든 영상 시퀀스에서 최대 얼굴 운동 강도를 보이는 프레임을 꼭지 프레임으로 식별하기 위해, 각 프레임의 운동 에너지 계산을 수행한다.
• 꼭지 프레임과 기준 온셋 프레임 사이의 수평(u) 및 수직(v) 광학 흐름 성분을 계산하여 운동 역학을 포착한다.
• 수평 및 수직 광학 흐름 특징을 하나의 입력 텐서로 융합하여 시공간 운동 맥락을 유지한다.
• 융합된 광학 흐름 특징을 사전 설계된 합성곱 신경망(CNN)에 입력하여 계층적 특징 학습 및 표정 분류를 수행한다.
• 교차 엔트로피 손실과 확률적 경사 하강법를 사용하여 CNN을 엔드 투 엔드로 훈련하고, 6개의 감정에 대한 다중 클래스 분류를 최적화한다.
• 세 가지 공개 데이터셋인 SMIC, CASME II, SAMM에서 피험자 한 명을 제외한 교차 검증을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기존의 수작업 특징에 비해 꼭지 프레임에서 추출한 광학 흐름 특징이 미세표정 인식 정확도를 향상시키는가?
• RQ2 수평 및 수직 광학 흐름 성분을 융합함으로써 운동 표현과 분류 성능가 향상되는가?
• RQ3 제안된 OFF-ApexNet 모델은 도메인 특화 미세조정 없이도 여러 자발적 미세표정 데이터베이스 간에 일반화 가능한가?
• RQ4 다중 데이터베이스 교차 검증에서 최고 성능를 달성하기 위한 최적의 훈련 에포크 수는 얼마인가?
• RQ5 불균형 데이터셋, 특히 표현 빈도가 낮은 감정 클래스인 놀람에 대해 모델의 성능는 어떠한가?

주요 결과

• OFF-ApexNet은 SMIC, CASME II, SAMM 세 데이터베이스 전반에서 한 명의 피험자를 제외한 교차 검증 프로토콜을 적용한 결과, 인식 정확도 74.60%와 F-measure 71.04%를 기록하였다.
• 단일 성분 광학 흐름 입력(U 또는 V)보다 성능이 뛰어나, U+V 융합은 3000 에포크에서 74.60%의 정확도를 기록하였으며, U는 66.21%, V는 65.31%를 기록하였다.
• 최고의 정확도는 3000 에포크에서 달성되었으며(74.60%), 4000 및 5000 에포크에서는 성능가 약간 감소하여 이 시점 이후 과적합 가능성이 있음을 시사한다.
• 부정적 감정은 모든 세 데이터셋에서 훈련 데이터에 지배적이기 때문에, 가장 높은 예측률(통합 혼동 행렬 기준 84%)을 보였다.
• SAMM 데이터셋에서는 놀람에 대해 47%의 정확도를 기록하였으며, 이는 모든 클래스 중에서 가장 낮은 성능였고, 미세하거나 강도가 낮은 표정 인식의 과제를 반영한다.
• 본 연구는 SMIC, CASME II, SAMM 간의 첫 번째 교차 데이터셋 검증을 제시하며, 미세표정 인식 분야에서 일반화 능력 향상의 새로운 기준을 설정한다.