[논문 리뷰] Learnable Graph Inception Network for Emotion Recognition.

Amir Shirian, Subarna Tripathi외 1명|arXiv (Cornell University)|2020. 08. 06.

Emotion and Mood Recognition참고 문헌 40인용 수 4

한 줄 요약

이 논문은 동적 다중모odal 데이터(비디오, 오디오, 모션캡처)로부터 종합적으로 감정 인식을 수행하면서 최적의 그래프 구조를 동시에 학습하는 새로운 딥러닝 프레임워크인 유연한 그래프 인셉션 네트워크(L-GrIN)를 제안한다. 유연한 인접행렬, 그래프 인셉션 레이어, 그리고 미분 가능한 풀링을 통합함으로써 L-GrIN은 얼굴 표정, 음성, 신체 제스처를 포함한 네 가지 벤치마크 데이터베이스에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Analyzing emotion from verbal and non-verbal behavioral cues is critical for many intelligent human-centric systems. The emotional cues can be captured using audio, video, motion-capture (mocap) or other modalities. We propose a generalized graph approach to emotion recognition that can take any time-varying (dynamic) data modality as input. To alleviate the problem of optimal graph construction, we cast this as a joint graph learning and classification task. To this end, we present the \emph{Learnable Graph Inception Network} (L-GrIN) that jointly learns to recognize emotion and to identify the underlying graph structure in data. Our architecture comprises multiple novel components: a new graph convolution operation, a graph inception layer, learnable adjacency, and a learnable pooling function that yields a graph-level embedding. We evaluate the proposed architecture on four benchmark emotion recognition databases spanning three different modalities (video, audio, mocap), where each database captures one of the following emotional cues: facial expressions, speech and body gestures. We achieve state-of-the-art performance on all databases outperforming several competitive baselines and relevant existing methods.

연구 동기 및 목표

• 동적 행동 데이터로부터 최적의 그래프 구조를 구성하는 데 도전하는 문제를 해결하기 위해.
• 그래프 학습과 감정 분류를 하나의 종단간 훈련 가능한 프레임워크로 통합하기 위해.
• 비디오, 오디오, 모션캡처 데이터와 같은 시간에 따라 변화하는 다양한 모달리티로부터 효과적인 표현 학습을 가능하게 하기 위해.
• 그래프 구조와 분류를 동시에 최적화하여 다중모달 감정 인식 성능을 향상시키기 위해.

제안 방법

• 학습된 그래프 구조에 맞게 동적으로 적응하는 새로운 그래프 컬루션 연산을 제안한다.
• 학습된 그래프 상에서 여러 수용영역을 통해 특징을 집계하는 그래프 인셉션 레이어를 도입한다.
• 훈련 중에 최적화되어 데이터 내 의미 있는 관계를 반영하는 유연한 인접행렬을 활용한다.
• 분류를 위한 글로벌 그래프 수준의 임베딩을 생성하기 위해 미분 가능한 그래프 풀링 기능을 통합한다.
• 그래프 구조 학습과 감정 분류를 동시에 최적화하는 종단간 아키텍처를 설계한다.
• 시간적 시퀀스를 동적 그래프로 모델링하여 비디오, 오디오, 모션캡처와 같은 다수의 동적 모달리티를 지원한다.

실험 결과

연구 질문

• RQ1 그래프 구조와 감정 분류의 공동 학습이 다중모달 감정 인식 성능 향상에 기여하는가?
• RQ2 유연한 인접행렬이 다양한 모달리티에서 관련 감정 신호를 효과적으로 포착하는 데 얼마나 유용한가?
• RQ3 표준 그래프 컬루션에 비해 그래프 인셉션 모듈이 특징 표현을 얼마나 향상시키는가?
• RQ4 미분 가능한 풀링 메커니즘이 감정 분류를 위한 강력한 그래프 수준의 임베딩에 어떻게 기여하는가?
• RQ5 제안된 프레임워크는 얼굴 표정, 음성, 신체 제스처와 같은 다양한 모달리티로 일반화되는가?

주요 결과

• L-GrIN은 네 가지 벤치마크 감정 인식 데이터베이스 전반에서 최신 기술 수준의 성능을 달성하며, 기존 방법들을 능가한다.
• 그래프 학습과 분류의 공동 최적화는 고정되거나 수작업으로 구성된 그래프 구조보다 더 구분력 있는 표현을 만들어낸다.
• 유연한 인접행렬은 모달리티 특화된 감정 역학에 맞게 적응함으로써 성능 향상에 크게 기여한다.
• 그래프 인셉션 레이어는 데이터 내 다중 척도의 종속성을 포착함으로써 특징 학습을 향상시킨다.
• 미분 가능한 풀링 메커니즘은 노드 수준의 특징을 압축되고 정보가 풍부한 그래프 수준의 임베딩으로 효과적으로 집계한다.
• 이 프레임워크는 비디오, 오디오, 모션캡처 데이터를 포함한 다양한 모달리티로 잘 일반화되어 있어 강건성과 유연성을 입증한다.