[논문 리뷰] Spatiotemporal Recurrent Convolutional Networks for Recognizing Spontaneous Micro-expressions

Zhaoqiang Xia, Xiaopeng Hong외 3명|arXiv (Cornell University)|2019. 01. 15.

Human Pose and Action Recognition참고 문헌 56인용 수 17

한 줄 요약

이 논문은 시공간 변형을 두 가지 유형의 시간 연결성인 외관 기반(STRCN-A)과 기하학 기반(STRCN-G)으로 모델링하여 자발적 미표정의 자동 인식을 위한 시공간 순환 합성곱 신경망(STRCN)을 제안한다. 이 방법은 제한적이고 불균형한 훈련 데이터 문제를 해결하기 위해 시간적 데이터 증강과 균형 손실을 통합하여 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 이 중 STRCN-A는 한 비디오를 제외한 평가(LOVO)에서, STRCN-G는 한 화자를 제외한 평가(LOSO)에서 다른 모델들을 능가하였다.

ABSTRACT

Recently, the recognition task of spontaneous facial micro-expressions has attracted much attention with its various real-world applications. Plenty of handcrafted or learned features have been employed for a variety of classifiers and achieved promising performances for recognizing micro-expressions. However, the micro-expression recognition is still challenging due to the subtle spatiotemporal changes of micro-expressions. To exploit the merits of deep learning, we propose a novel deep recurrent convolutional networks based micro-expression recognition approach, capturing the spatial-temporal deformations of micro-expression sequence. Specifically, the proposed deep model is constituted of several recurrent convolutional layers for extracting visual features and a classificatory layer for recognition. It is optimized by an end-to-end manner and obviates manual feature design. To handle sequential data, we exploit two types of extending the connectivity of convolutional networks across temporal domain, in which the spatiotemporal deformations are modeled in views of facial appearance and geometry separately. Besides, to overcome the shortcomings of limited and imbalanced training samples, temporal data augmentation strategies as well as a balanced loss are jointly used for our deep network. By performing the experiments on three spontaneous micro-expression datasets, we verify the effectiveness of our proposed micro-expression recognition approach compared to the state-of-the-art methods.

연구 동기 및 목표

• 짧은 지속 시간과 미세한 시공간 변화로 인해 자발적 미표정을 인식하는 데 도전하는 문제를 해결하기 위해.
• 손으로 설계한 특징과 얕은 분류기의 한계를 극복하여 미표정의 변형을 효과적으로 포착하기 위해.
• 수동적인 설계 없이 시공간 특징을 자동으로 학습하는 딥 러닝 프레임워크를 개발하기 위해.
• 제한적이고 불균형한 미표정 훈련 샘플로 인한 성능 저하를 완화하기 위해.
• 시간 연결성과 강력한 손실 함수를 통한 엔드 투 엔드 훈련을 통해 정확도를 향상시키기 위해.

제안 방법

• 외관 모델링을 위한 STRCN-A와 광학 흐름을 통한 기하학적 운동 모델링을 위한 STRCN-G를 포함한 시공간 순환 합성곱 신경망의 두 변종을 제안한다.
• 순환 연결을 사용해 시간에 걸쳐 합성곱 네트워크의 연결성을 확장하여 시퀀스 내 동적인 얼굴 변화를 모델링한다.
• 합성 비디오 시퀀스를 생성하여 유효한 훈련 샘플 수를 늘림으로써 시간적 데이터 증강을 수행한다.
• 불균형한 카테고리 분포를 가진 데이터셋에서 클래스 불균형 문제를 완화하기 위해 균형 손실 함수를 도입한다.
• 수동적인 특징 공학 없이 특징 추출과 분류를 동시에 최적화하는 엔드 투 엔드 훈련을 구현한다.
• 특징 맵 확장과 순환층 스택을 적용하여 표현 능력을 향상시키며, 과적합 위험을 모니터링한다.

실험 결과

연구 질문

• RQ1 순환 합성곱 신경망은 자발적 미표정의 미세한 시공간 변형을 효과적으로 모델링할 수 있는가?
• RQ2 외관 기반(STRCN-A)과 기하학 기반(STRCN-G)의 시간 연결성이 인식 성능에 어떤 영향을 미치는가?
• RQ3 시간적 데이터 증강과 균형 손실이 작은, 불균형한 데이터셋에서 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 성능과 계산 비용을 균형 잡기 위해 최적의 순환층 수와 특징 맵 수는 얼마인가?
• RQ5 한 비디오 또는 한 화자를 제외한 평가 프로토콜 모두에서 제안된 모델은 최신 기술 수준의 방법들과 비교해 어떤가?

주요 결과

• STRCN-A는 한 비디오를 제외한 평가(LOVO) 조건에서 SMIC 데이터셋에서 88.9%의 최고 정확도를 기록하여 이전 최신 기술 수준의 방법들을 능가하였다.
• STRCN-G는 한 화자를 제외한 평가(LOSO) 조건에서 CASME II 데이터셋에서 86.7%의 최고 성능을 기록하여 미지의 주체에 대한 일반화 능력이 뛰어나다는 것을 입증하였다.
• 시간적 데이터 증강과 균형 손실의 조합은 세 데이터셋 전반에서 일관된 성능 향상을 이끌었으며, 특히 자원이 제한된 환경에서 두드러졌다.
• 백분위수 기반 마스킹을 통해 너무 많은 픽셀을 제거할 경우 성능이 저하됨(예: p < 0.5)을 확인하여, 중간 수준의 p 값에서 최적의 미표정 인식 영역 선택이 이루어짐을 시사하였다.
• 특징 맵 수를 늘릴수록 정확도는 증가하나, 64개 맵을 초과하면 수익 감소 현상이 발생하여趋세가 둔화됨을 확인하였다.
• SMIC 데이터셋에서 4개 이상의 순환층을 사용할 경우 성능 저하가 발생하여, 데이터 가용성에 따라 모델 깊이를 제한해야 함을 시사하였다.