[논문 리뷰] Analyzing Unaligned Multimodal Sequence via Graph Convolution and Graph Pooling Fusion

Sijie Mai, Songlong Xing외 3명|arXiv (Cornell University)|2020. 11. 27.

Music and Audio Processing참고 문헌 60인용 수 26

한 줄 요약

이 논문은 그래프 컨볼루션과 그래프 풀링을 사용하여 비정렬 다중모态 시계열을 모델링하는 그래프 신경망 기반 모델인 Multimodal Graph를 제안한다. 이는 내모달 및 간모달 동역학을 포괄적으로 포착할 수 있다. CMU-MOSI 및 CMU-MOSEI에서 MulT와 같은 최신 기법들을 능가하며, 파라미터 수가 적고 RNN 및 트랜스포머보다 효율성이 뛰어나 SOTA 성능을 달성한다.

ABSTRACT

In this paper, we study the task of multimodal sequence analysis which aims to draw inferences from visual, language and acoustic sequences. A majority of existing works generally focus on aligned fusion, mostly at word level, of the three modalities to accomplish this task, which is impractical in real-world scenarios. To overcome this issue, we seek to address the task of multimodal sequence analysis on unaligned modality sequences which is still relatively underexplored and also more challenging. Recurrent neural network (RNN) and its variants are widely used in multimodal sequence analysis, but they are susceptible to the issues of gradient vanishing/explosion and high time complexity due to its recurrent nature. Therefore, we propose a novel model, termed Multimodal Graph, to investigate the effectiveness of graph neural networks (GNN) on modeling multimodal sequential data. The graph-based structure enables parallel computation in time dimension and can learn longer temporal dependency in long unaligned sequences. Specifically, our Multimodal Graph is hierarchically structured to cater to two stages, i.e., intra- and inter-modal dynamics learning. For the first stage, a graph convolutional network is employed for each modality to learn intra-modal dynamics. In the second stage, given that the multimodal sequences are unaligned, the commonly considered word-level fusion does not pertain. To this end, we devise a graph pooling fusion network to automatically learn the associations between various nodes from different modalities. Additionally, we define multiple ways to construct the adjacency matrix for sequential data. Experimental results suggest that our graph-based model reaches state-of-the-art performance on two benchmark datasets.

연구 동기 및 목표

• 시각, 언어, 청각 시계열이 비정렬된 실세계 시나리오에서의 다중모달 시계열 분석 과제를 해결하기 위해.
• 장거리 시간적 의존성을 모델링할 때 RNN의 한계, 즉 기울기 소실 및 높은 시간 복잡도 문제를 해결하기 위해.
• 단어 수준의 정렬이 필요 없이 병렬 계산이 가능하고 효과적인 다모달 융합을 가능하게 하는 그래프 기반 프레임워크를 개발하기 위해.
• 다양한 모달에서 순차적 데이터를 모델링하기 위해 그래프 컨볼루션과 풀링의 효과를 조사하기 위해.
• 비정렬 다중모달 학습에서 최적의 성능을 내기 위해 다양한 GCN 아키텍처와 그래프 풀링 전략을 비교하기 위해.

제안 방법

• 각 모달(텍스트, 시각, 청각)에 대해 단일모달 그래프를 구축하며, 각 시간 단위를 노드로 간주하고 비모수적 및 학습 가능한 방법을 통해 인접 행렬을 정의한다.
• 시간 단위 간 내모달 동역학을 학습하기 위해 기초 GCN로 GraphSAGE와 평균 풀링을 적용하여 장거리 의존성 모델링을 가능하게 한다.
• 단어 수준의 정렬이 필요 없이 모달 간 노드를 동적으로 정렬함으로써 간모달 관계를 학습하는 그래프 풀링 융합 네트워크(GPFN)를 설계한다.
• 학습 가능한 방법을 포함한 여러 인접 행렬 구축 전략을 활용하며, 이는 비모수적 대안보다 우수한 성능을 보인다.
• 최대/평균 풀링 및 링크 유사도 풀링과 같은 그래프 풀링 기법을 사용하며, 제거 분석 결과 대부분의 지표에서 DiffPool보다 뛰어나다.
• 단일모달 및 간모달 그래프 학습을 계층적 프레임워크에 통합하여 내모달 및 간모달 동역학을 동시에 모델링한다.

실험 결과

연구 질문

• RQ1 반복 구조에 의존하지 않고 그래프 신경망이 비정렬 다중모달 시계열을 효과적으로 모델링할 수 있는가?
• RQ2 비정렬 시계열에서 장거리 시간적 의존성을 학습할 때 그래프 컨볼루션은 RNN 및 TCN에 비해 어떻게 비교되는가?
• RQ3 다양한 인접 행렬 구축 방법이 순차적 데이터 성능에 미치는 영향은 무엇인가?
• RQ4 그래프 풀링 융합 기법이 복잡한 장기 지속 교차모달 상호작용을 포착하는 데 단어 수준 융합보다 뛰어난가?
• RQ5 MulT 및 TFN과 같은 최신 기법에 비해 제안된 Multimodal Graph는 성능과 효율성 면에서 어떻게 비교되는가?

주요 결과

• Multimodal Graph는 CMU-MOSI 및 CMU-MOSEI에서 모두 SOTA 성능을 달성하며, CMU-MOSI의 7-클래스 정확도를 제외한 모든 지표에서 MulT를 능가한다.
• GPFN 기반 GraphSAGE는 CMU-MOSEI에서 81.4%의 정확도를 기록하여, 분석에서 GAT(80.3%)와 GIN(81.1%)을 모두 앞선다.
• GraphSAGE 기반 GPFN은 CMU-MOSEI에서 F1 점수 81.7%와 상관계수 0.675를 기록하며, 7-클래스 정확도를 제외한 모든 지표에서 DiffPool를 능가한다.
• CMU-MOSEI에서 모델은 단지 1,225,400개의 파라미터만을 사용하며, 이는 MulT의 파라미터 수의 64.46%에 불과하여 뛰어난 파라미터 효율성을 보여준다.
• 학습 가능한 인접 행렬은 비정렬 시계열의 동적 시간적 관계를 포착하는 데 비모수적 방법보다 뚜렷이 뛰어나다.
• 그래프 기반 접근법은 RNN 및 트랜스포머보다 더 뛰어난 성능과 낮은 복잡도를 달성하여, GCN이 순차적 모델링을 위한 타당한 대안임을 입증한다.