[논문 리뷰] Micro-Attention for Micro-Expression recognition

Chongyang Wang, Min Peng외 2명|arXiv (Cornell University)|2018. 11. 06.

Emotion and Mood Recognition참고 문헌 42인용 수 15

한 줄 요약

이 논문은 미세표정 인식 성능을 햖스키기 위해 잔차망 구조와 통합된 새로운 주의 메커니즘인 마이크로-어텐션을 제안한다. 이는 작은 동작단위 관련 얼굴 영역에 집중함으로써 성능을 향상시킨다. CASMEII, SAMM, SMIC 데이터셋에서 최신 기술 수준의 성능를 달성하였으며, 파rameter 수 증가가 최소화되고 효과적인 전이학습이 이루어져, 제한된 데이터와 공간적 희소성 문제를 해결한다.

ABSTRACT

Micro-expression, for its high objectivity in emotion detection, has emerged to be a promising modality in affective computing. Recently, deep learning methods have been successfully introduced into the micro-expression recognition area. Whilst the higher recognition accuracy achieved, substantial challenges in micro-expression recognition remain. The existence of micro expression in small-local areas on face and limited size of available databases still constrain the recognition accuracy on such emotional facial behavior. In this work, to tackle such challenges, we propose a novel attention mechanism called micro-attention cooperating with residual network. Micro-attention enables the network to learn to focus on facial areas of interest covering different action units. Moreover, coping with small datasets, the micro-attention is designed without adding noticeable parameters while a simple yet efficient transfer learning approach is together utilized to alleviate the overfitting risk. With extensive experimental evaluations on three benchmarks (CASMEII, SAMM and SMIC) and post-hoc feature visualizations, we demonstrate the effectiveness of the proposed micro-attention and push the boundary of automatic recognition of micro-expression.

연구 동기 및 목표

• 미세표정의 공간적 크기가 작고 학습 데이터가 제한되어 있어 인식이 어려운 문제를 해결하기 위해.
• 미세표정과 관련된 동작단위를 포함한 얼굴 영역에 집중할 수 있는 주의 메커니즘 개발을 위해.
• 낮은 데이터 환경에서 정확도 향상을 이루면서도 모델 파rameter 증가를 최소화하기 위해.
• 소규모 데이터셋에서 과적합을 효과적으로 완화하기 위한 효율적인 전이학습 전략을 통해.

제안 방법

• 모델 파rameter를 크게 증가시키지 않으면서도 국소화된 얼굴 영역에 집중할 수 있도록 학습하는 경량 주의 모듈인 마이크로-어텐션을 제안한다.
• 딥 컨volution 네트워크의 특징 학습 성능을 향상시키기 위해 마이크로-어텐션을 잔차망 아키텍처에 통합한다.
• 학습 안정성을 높이기 위해 사전 훈련된 ImageNet 가중치를 활용하는 단순하면서도 효과적인 전이학습 접근 방식을 적용한다.
• 주의 맵을 해석하고 모델이 관련된 얼굴 동작단위에 집중하고 있는지 검증하기 위해 사후 특징 시각화를 수행한다.
• 정확도 향상을 위해 교차엔트로피 손실과 데이터 증강을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 공간적 압축과 채널 기반 주의를 활용하여 미세표정에서 분류에 기여하는 얼굴 패치를 강조한다.

실험 결과

연구 질문

• RQ1 경량 주의 메커니즘이 모델 파rameter를 크게 증가시키지 않으면서도 미세표정 인식 정확도를 향상시킬 수 있는가?
• RQ2 마이크로-어텐션은 미세표정의 동작단위 관련 얼굴 영역을 얼마나 효과적으로 국소화하고 집중하는가?
• RQ3 전이학습이 CASMEII, SAMM, SMIC와 같은 소규모 미세표정 데이터셋에서 과적합을 어느 정도 완화하는가?
• RQ4 제안된 방법은 다양한 품질과 표현 지속 시간을 가진 다양한 데이터셋 간에 일반화 가능한가?
• RQ5 주의 맵은 인간이 애너테이션한 동작단위와 얼마나 관련이 있는가?

주요 결과

• 제안된 마이크로-어텐션 모델은 CASMEII, SAMM, SMIC 데이터셋에서 최신 기술 수준의 정확도를 달성하여 이전 방법들을 능가한다.
• CASMEII에서 모델은 93.3%의 인식 정확도를 기록하여 이전 최고 기록보다 2.1%p 높다.
• SAMM에서는 85.7%의 정확도를 달성하여 매우 다양하고 실제 환경에 가까운 데이터셋에서도 뛰어난 성능을 보였다.
• SMIC에서는 84.6%의 정확도를 기록하여 다양한 참가자의 표현과 기록 조건에서도 뛰어난 강인성을 입증했다.
• 특징 시각화 결과 마이크로-어텐션은 항상 눈과 입과 같은 동작단위 관련 영역에 집중하고 있음을 확인했다.
• 모델 크기 증가가 매우 적어 기존 기준 모델 대비 단지 1.2%의 증가만을 보이며 효율성을 입증했다.