[논문 리뷰] MERANet: Facial Micro-Expression Recognition using 3D Residual Attention Network.

G.V. Subba Reddy, Sai Reddy외 2명|arXiv (Cornell University)|2020. 12. 07.

Emotion and Mood Recognition참고 문헌 42인용 수 4

한 줄 요약

MERANet는 공간-시간 및 채널 주의 메커니즘을 통합하여 미세한 시공간적 특징을 포착하는 3D 잔차 주의 네트워크로, 벤치마크 마이크로표정 데이터셋에서 최신 기술 수준의 성능을 달성한다. 3D 커널, 잔차 연결 및 이중 주의 재보정을 활용함으로써 성능을 향상시킨다.

ABSTRACT

We propose a facial micro-expression recognition model using 3D residual attention network called MERANet. The proposed model takes advantage of spatial-temporal attention and channel attention together, to learn deeper fine-grained subtle features for classification of emotions. The proposed model also encompasses both spatial and temporal information simultaneously using the 3D kernels and residual connections. Moreover, the channel features and spatio-temporal features are re-calibrated using the channel and spatio-temporal attentions, respectively in each residual module. The experiments are conducted on benchmark facial micro-expression datasets. A superior performance is observed as compared to the state-of-the-art for facial micro-expression recognition.

연구 동기 및 목표

• 최소한의 시각적 변화로 인해 감지하기 어려운 미세하고 일시적인 얼굴 마이크로표정을 인식하는 데 도전하는 것.
• 마이크로표정 시퀀스에서 공간, 시간 및 채널 방향의 의존성을 함께 모델링하여 특징 표현을 향상시키는 것.
• 공간-시간 및 채널 수준에서 특징을 재보정하는 주의 메커니즘을 통해 분류 성능을 향상시키는 것.
• 3D 컨볼루션과 잔차 학습을 활용하여 얼굴 마이크로표정의 미세한 역학을 효과적으로 포착하는 딥 러닝 아키텍처를 개발하는 것.

제안 방법

• 모델은 마이크로표정 영상 시퀀스에서 공간적 및 시간적 특징을 동시에 추출하기 위해 3D 컨볼루션 커널을 사용한다.
• 잔차 연결을 통해 학습을 안정화하고 더 깊은 네트워크 아키텍처를 가능하게 하여 더 나은 특징 학습을 달성한다.
• 각 잔차 블록 내부에 공간-시간 주의를 적용하여 중요도에 기반해 시공간적 특징을 재보정한다.
• 채널 주의를 통합하여 채널 방향 특징 맵을 재보정하고 분류에 유의미한 채널을 강조한다.
• 모든 잔차 모듈에 이중 주의 메커니즘(공간-시간 및 채널)을 적용하여 특징을 점진적으로 개선한다.
• 표준 분류 손실 함수를 사용하여 벤치마크 마이크로표정 데이터셋에서 엔드 투 엔드로 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 이중 주의 메커니즘을 갖춘 3D 잔차 네트워크가 미세한 얼굴 마이크로표정 인식을 향상시킬 수 있는가?
• RQ2 공간-시간 및 채널 주의 메커니즘이 마이크로표정 인식에서 특징 표현을 얼마나 효과적으로 향상시키는가?
• RQ3 3D 컨볼루션과 잔차 학습의 통합이 벤치마크 마이크로표정 데이터셋에서 성능을 향상시키는가?
• RQ4 주의 기반 특징 재보정이 노이즈를 줄이고 분류에 유의미한 얼굴 운동 패턴을 강조하는 데 얼마나 기여하는가?

주요 결과

• MERANet는 벤치마크 얼굴 마이크로표정 데이터셋에서 최신 기술 수준의 방법들보다 뛰어난 성능을 달성한다.
• 공간-시간 및 채널 주의 메커니즘의 통합은 마이크로표정 분류를 위한 특징의 분류 능력을 크게 향상시킨다.
• 3D 컨볼루션은 마이크로표정 시퀀스에서 공간적 및 시간적 역학을 효과적으로 포착하여 모델의 민감도를 향상시킨다.
• 잔차 연결은 안정적인 학습과 더 깊은 특징 학습을 가능하게 하여 정확도 향상에 기여한다.
• 이중 주의 메커니즘은 모델이 관련 있는 얼굴 영역과 운동 패턴에 집중하도록 하여 불필요한 변동의 영향을 줄인다.