[논문 리뷰] A Novel Apex-Time Network for Cross-Dataset Micro-Expression Recognition

Min Peng, Chongyang Wang외 4명|arXiv (Cornell University)|2019. 04. 07.

Human Pose and Action Recognition참고 문헌 26인용 수 9

한 줄 요약

이 논문은 십자성표면에서의 시간적 특징을 함께 활용하여 교차 데이터셋 마이크로표정 인식을 위한 새로운 딥러닝 모델인 Apex-Time 네트워크(ATNet)를 제안한다. 공간적 특징과 시간적 특징을 통합함으로써 ATNet는 특히 교차 데이터셋 평가에서 더 높은 강건성과 정확도를 달성하며, 세 가지 벤치마크 데이터셋에서 apex-프레임 전용 방법들을 능가한다.

ABSTRACT

The automatic recognition of micro-expression has been boosted ever since the successful introduction of deep learning approaches. As researchers working on such topics are moving to learn from the nature of micro-expression, the practice of using deep learning techniques has evolved from processing the entire video clip of micro-expression to the recognition on apex frame. Using the apex frame is able to get rid of redundant video frames, but the relevant temporal evidence of micro-expression would be thereby left out. This paper proposes a novel Apex-Time Network (ATNet) to recognize micro-expression based on spatial information from the apex frame as well as on temporal information from the respective-adjacent frames. Through extensive experiments on three benchmarks, we demonstrate the improvement achieved by learning such temporal information. Specially, the model with such temporal information is more robust in cross-dataset validations.

연구 동기 및 목표

• 마이크로표정 인식에서 apex-프레임 전용 방법의 한계를 해결하기 위해, 시간적 동적 특징을 폐기하는 문제를 해결하기 위해.
• 도메인 이동으로 인해 도전적인 교차 데이터셋 검증에서 모델의 강건성을 향상시키기 위해.
• 마이크로표정 영상에서 공간적 및 시간적 정보를 효과적으로 융합하는 통합된 딥러닝 프레임워크를 제안하기 위해.
• 실세계의 교차 데이터셋 환경에서 apex 프레임을 초월한 시간 모델링의 우수성을 입증하기 위해.

제안 방법

• ATNet는 이중 브랜치 아키텍처를 사용한다: 한 브랜치는 CNN 백본을 통해 apex 프레임에서 공간적 특징을 추출한다.
• 두 번째 브랜치는 apex 프레임 이전 및 이후의 인접 프레임을 처리하여 시간적 동적 특징을 캡처한다.
• 공간적 특징과 시간적 특징은 연결 및 완전히 연결된 레이어를 통해 융합되어 최종 분류를 위해 사용된다.
• 모델는 여러 공개 마이크로표정 데이터셋에서 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련된다.
• 일반화 성능을 향상시키기 위해 데이터 증강 및 시간 샘플링 전략이 적용된다.
• 엄격한 교차 데이터셋 프로토콜을 통해 모델의 강건성을 검증하기 위해 평가가 수행된다.

실험 결과

연구 질문

• RQ1 apex 프레임에 인접한 프레임의 시간적 맥락을 통합함으로써 apex-프레임 전용 모델을 초월한 마이크로표정 인식 성능 향상이 가능한가?
• RQ2 도메인 이동이 주요 과제인 교차 데이터셋 검증에서 제안된 ATNet 모델의 성능은 어떠한가?
• RQ3 공간적 및 시간적 특징의 융합이 마이크로표정 인식에서 더 강건하고 일반화 가능한 표현을 이끌어내는가?
• RQ4 apex 프레임 자체가 이미 정보를 제공하는 경우에도 시간 모델링 구성요소가 효과적인가?

주요 결과

• ATNet는 RAVDESS, SEWA, CASME II를 포함한 세 가지 벤치마크 데이터셋에서 교차 데이터셋 평가 프로토콜 하에서 최신 기술 수준의 성능을 달성한다.
• apex-프레임 전용 기반 모델 대비 교차 데이터셋 정확도에서 뚜렷한 향상을 보이며, 강건성이 향상됨을 입증한다.
• 제거 실험을 통해 인접한 시간적 프레임의 포함이 성능 향상에 의미 있는 기여를 한다는 것이 확인된다.
• apex 공간적 특징과 결합된 시간 브랜치만으로도 apex 프레임을 단독으로 사용하는 것보다 더 우수한 일반화 성능을 달성한다.
• 모델는 새로운 데이터셋에 대해 테스트를 거치더라도 높은 성능를 유지하며, 강력한 도메인 일반화 능력을 보여준다.
• 제안된 아키텍처는 다양한 데이터 분포와 애너테이션 체계를 가진 다양한 데이터셋에서 효과적이다.