[논문 리뷰] Enriched Long-term Recurrent Convolutional Network for Facial Micro-Expression Recognition

Huai-Qian Khor, John See외 2명|arXiv (Cornell University)|2018. 05. 22.

Emotion and Mood Recognition참고 문헌 15인용 수 17

한 줄 요약

이 논문은 CNN 기반의 공간적 특징 추출과 LSTM 기반의 시간적 모델링을 융합하여 얼굴 미세표정 인식을 위한 개선된 장기 순환 합성곱 신경망(ELRCN)을 제안한다. 프레임워크는 두 가지 변형—채널 기반 입력 스택킹을 통한 공간적 강화와 특징 기반 스택킹을 통한 시간적 강화—를 사용하며, 데이터 증강 없이도 뛰어난 성능을 달성한다. Grad-CAM 시각화 결과는 모델이 행동단위(AU) 관련 얼굴 영역에 주목하고 있음을 확인한다.

ABSTRACT

Facial micro-expression (ME) recognition has posed a huge challenge to researchers for its subtlety in motion and limited databases. Recently, handcrafted techniques have achieved superior performance in micro-expression recognition but at the cost of domain specificity and cumbersome parametric tunings. In this paper, we propose an Enriched Long-term Recurrent Convolutional Network (ELRCN) that first encodes each micro-expression frame into a feature vector through CNN module(s), then predicts the micro-expression by passing the feature vector through a Long Short-term Memory (LSTM) module. The framework contains two different network variants: (1) Channel-wise stacking of input data for spatial enrichment, (2) Feature-wise stacking of features for temporal enrichment. We demonstrate that the proposed approach is able to achieve reasonably good performance, without data augmentation. In addition, we also present ablation studies conducted on the framework and visualizations of what CNN "sees" when predicting the micro-expression classes.

연구 동기 및 목표

• 저조도 및 제한된 학습 데이터로 인해 낮은 가시성을 띠는 미세표정을 인식하는 데 도전한다.
• 도메인 특화 조정이 필요하고 일반화 능력이 떨어지는 수작업 특징의 한계를 극복한다.
• 엔드 투 엔드 학습을 통해 미세표정의 시공간적 동역학을 효과적으로 포착하는 딥 러닝 프레임워크를 개발한다.
• 원시 픽셀과 옵티컬 플로우 등의 다양한 특징 표현 방식 및 네트워크 아키텍처가 인식 성능에 미치는 영향을 조사한다.
• Grad-CAM을 활용해 모델 예측의 해석 가능성을 제공하고 행동단위(AU) 관련 얼굴 영역에 주목하는지 검증한다.

제안 방법

• 각 미세표정 프레임의 깊은 공간적 특징을 추출하기 위해 사전 훈련된 VGG-16 CNN을 사용하며, 마지막 및 두 번째로 마지막 완전 연결층의 특징 맵을 테스트한다.
• 추출된 공간적 특징을 장기 기억 신경망(LSTM)에 통과시켜 시간적 의존성을 모델링한다.
• 두 가지 네트워크 변형을 구현: (1) RGB 및 옵티컬 플로우를 채널 기반으로 스택킹하여 공간적 강화, (2) CNN 임bedded 특징을 특징 기반으로 스택킹하여 시간적 강화.
• 운동 감도를 향상시키기 위해 원시 픽셀 강도 대신 옵티컬 플로우를 입력으로 사용하여 미세표정의 미세한 얼굴 운동을 더 잘 구분하도록 한다.
• 분류 결정에 기여하는 얼굴 영역을 시각화하기 위해 마지막 합성곱층에 기반한 기울기 가중 클래스 활성화 맵(Grad-CAM)을 적용한다.
• 단일 레이어 대비 이중 레이어 LSTM, 특징 추출 레이어, 입력 모odal(픽셀 대비 플로우)을 비교하는 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 접근법이 광범위한 초모수 조정 없이도 수작업 특징보다 미세표정 인식 성능에서 뛰어나게 되는가?
• RQ2 입력 모달리티(원시 픽셀 대비 옵티컬 플로우)의 선택이 미세표정 작업의 인식 성능에 어떤 영향을 미치는가?
• RQ3 입력 채널 스택킹을 통한 공간적 강화 또는 특징 스택킹을 통한 시간적 강화 중 어느 것이 단일 데이터베이스 및 크로스 데이터베이스 평가에서 더 높은 성능을 낼 수 있는가?
• RQ4 전문가 애너테이션 기반 행동단위(AU)와 일치하는가? Grad-CAM 시각화를 통해 이를 검증한다.
• RQ5 딥 특징을 사용한 미세표정 인식에 최적화된 LSTM 구성(예: 레이어 수, 유닛 수)은 무엇인가?

주요 결과

• 시간적 강화(TE)를 적용한 ELRCN가 단일 데이터베이스 평가에서 공간적 강화(SE) 변형보다 더 높은 인식 정확도를 달성한다.
• 공간적 강화(SE) 변형이 크로스 데이터베이스 설정에서 더 우수한 일반화 성능을 보이며, 더 뛰어난 도메인 전이 능력을 나타낸다.
• 옵티컬 플로우 특징가 원시 픽셀 강도보다 일관되게 뛰어난 성능을 보이며, 미세표정에서 미세한 얼굴 운동에 대한 감도가 더 높음을 입증한다.
• 딥 CNN 특징을 사용할 경우 단일 레이어 LSTM이 이중 레이어 LSTM보다 더 뛰어난 성능을 보이며, 깊은 순환 구조가 성능 향상에 기여하지 않으며 계산 비용만 증가시킨다는 것을 시사한다.
• VGG-16의 마지막 완전 연결층(4096차원)에서 유도된 특징이 미세표정 분류에 가장 분류 능력이 뛰어난 표현을 제공한다.
• Grad-CAM 시각화 결과는 모델이 행동단위(AU) 관련 얼굴 영역—예를 들어 입꼬리 당기는 운동(AU12)과 눈썹 올리는 운동(AU1)—에 주목하고 있음을 확인하며, 전문가 애너테이션과 일치한다.