[논문 리뷰] MTGAT: Multimodal Temporal Graph Attention Networks for Unaligned Human Multimodal Language Sequences.

Jianing Yang, Yongxin Wang외 6명|arXiv (Cornell University)|2020. 10. 22.

Sentiment Analysis and Opinion Mining인용 수 9

한 줄 요약

MTGAT는 비정렬 다중모态 인간 언어 시퀀스를 이질적인 시간적 그래프로 변환함으로써, 다중모态 시간 그래프 어텐션과 동적 프루닝을 사용하여 주목할 만한 상호작용에 집중하는 새로운 그래프 기반 신경망을 제안한다. 이는 계산 비용을 줄이며 IEMOCAP 및 CMU-MOSI에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Human communication is multimodal in nature; it is through multiple modalities, i.e., language, voice, and facial expressions, that opinions and emotions are expressed. Data in this domain exhibits complex multi-relational and temporal interactions. Learning from this data is a fundamentally challenging research problem. In this paper, we propose Multimodal Temporal Graph Attention Networks (MTGAT). MTGAT is an interpretable graph-based neural model that provides a suitable framework for analyzing this type of multimodal sequential data. We first introduce a procedure to convert unaligned multimodal sequence data into a graph with heterogeneous nodes and edges that captures the rich interactions between different modalities through time. Then, a novel graph operation, called Multimodal Temporal Graph Attention, along with a dynamic pruning and read-out technique is designed to efficiently process this multimodal temporal graph. By learning to focus only on the important interactions within the graph, our MTGAT is able to achieve state-of-the-art performance on multimodal sentiment analysis and emotion recognition benchmarks including IEMOCAP and CMU-MOSI, while utilizing significantly fewer computations.

연구 동기 및 목표

• 언어, 음성, 얼굴 표정과 같은 인간 소통에서 복잡하고 비정렬된 다중모달 상호작용을 모델링하는 데 도전하는 것.
• 순차적 데이터에서 다양한 모odal 간의 풍부한 시간적 및 관계적 동적 변화를 포착하는 프레임워크를 개발하는 것.
• 계산 오버헤드를 줄이면서도 다중모달 상호작용에 대한 해석 가능한 어텐션을 가능하게 하는 그래프 기반 아키텍처를 설계하는 것.

제안 방법

• 모态를 노드로, 시간적 및 교차모달 관계를 엣지로 표현하는 이질적인 그래프로 비정렬 다중모달 시퀀스를 변환하는 것.
• 그래프 엣지에 대해 중요한 상호작용에 중점을 두기 위해 동적 어텐션 가중치를 학습하는 새로운 그래프 연산인 다중모달 시간 그래프 어텐션을 도입하는 것.
• 추론 중에 낮은 중요도의 엣지를 제거하여 계산 복잡도를 낮추는 동적 프루닝 메커니즘을 적용하는 것으로 성능 저하 없이 효율성을 확보하는 것.
• 하류 작업을 위한 통합된 다중모달 임베딩으로 그래프 표현을 집계하기 위해 리드아웃 메커니즘을 사용하는 것.
• 감성 분석 및 정서 인식에 적합한 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련하는 것.
• 어느 모달과 시간 단계가 예측에 가장 기여하는지 해석하기 위해 어텐션 메커니즘을 활용하는 것.

실험 결과

연구 질문

• RQ1 비정렬 다중모달 인간 시퀀스를 효과적으로 그래프로 모델링하여 시간적 및 교차모달 종속성을 유지할 수 있는가?
• RQ2 어떤 그래프 기반 어텐션 메커니즘이 다중모달 데이터에서 주목할 만한 상호작용에 효율적이고 해석 가능한 집중을 가능하게 하는가?
• RQ3 동적 프루닝 전략이 다중모달 이해에서 높은 성능을 유지하면서 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 제안된 모델이 기존 방법보다 다중모달 감성 및 정서 인식 벤치마크에서 승리할 수 있는가?

주요 결과

• MTGAT는 다중모달 감성 분석을 위한 IEMOCAP 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 모델은 다중모달 정서 인식을 위한 CMU-MOSI 데이터셋에서 새로운 최신 기술 수준의 결과를 달성한다.
• 높은 성능에도 불구하고, 동적 프루닝 덕분에 이전 모델보다 훨씬 적은 계산량을 사용한다.
• MTGAT의 어텐션 메커니즘은 예측에 가장 영향을 미치는 모달과 시간 간격을 해석 가능한 방식으로 제공한다.
• 그래프 기반 표현은 비정렬 모달 간의 복잡한 다중관계적 상호작용을 효과적으로 포착한다.
• 동적 프루닝 전략은 예측 정확도를 유지하면서도 계산 부담을 줄인다.