[논문 리뷰] Efficient Low-rank Multimodal Fusion with Modality-Specific Factors

Zhun Liu, Ying Shen외 4명|arXiv (Cornell University)|2018. 05. 31.

Sentiment Analysis and Opinion Mining참고 문헌 25인용 수 85

한 줄 요약

논문은 Low-rank Multimodal Fusion (LMF)을 소개합니다. 이 방법은 모달리티별 저랭크 인자를 사용하여 여러 모달리티를 효율적으로 융합하고, 모달리티 수의 선형 확장성으로 비교적 경쟁력 있는 결과를 달성하며 텐서 기반 융합(TFN)과 비교했을 때 파라미터와 계산량을 크게 줄입니다.

ABSTRACT

Multimodal research is an emerging field of artificial intelligence, and one of the main research problems in this field is multimodal fusion. The fusion of multimodal data is the process of integrating multiple unimodal representations into one compact multimodal representation. Previous research in this field has exploited the expressiveness of tensors for multimodal representation. However, these methods often suffer from exponential increase in dimensions and in computational complexity introduced by transformation of input into tensor. In this paper, we propose the Low-rank Multimodal Fusion method, which performs multimodal fusion using low-rank tensors to improve efficiency. We evaluate our model on three different tasks: multimodal sentiment analysis, speaker trait analysis, and emotion recognition. Our model achieves competitive results on all these tasks while drastically reducing computational complexity. Additional experiments also show that our model can perform robustly for a wide range of low-rank settings, and is indeed much more efficient in both training and inference compared to other methods that utilize tensor representations.

연구 동기 및 목표

• 전체 텐서 표현을 사용할 때 멀티모달 융합의 확장성 문제를 동기부여하고 해결합니다.
• 모달리티별 저랭크 인자를 이용한 선형 스케일링이 가능하도록 저랭크 구성을 제안합니다.
• LMF가 감정 분석, 화자 특성 및 감정 인식에서 파라미터와 계산을 줄이면서도 경쟁력 있는 성능을 달성함을 보입니다.

제안 방법

• 다중모달 융합을 다항식 함수로 형식화하고 전체 텐서 융합의 지수 비용을 식별합니다.
• 가중치 텐서를 모달리티별 저랭크 인자로 분해하고 전체 입력 텐서를 구성하지 않고도 효율적인 계산을 도출합니다.
• r 랭크-특정 인자를 사용하여 unimodal 표현에서 직접 h를 계산하는 효율적 융합식을 도출하고 복잡성을 O(d_y * r * sum(d_m))로 감소시킵니다.
• 실용적 계산을 위해 인자를 M 차원 텐서로 연결(concatenate)하고 Lambda 기반 조합으로 구현하는 약간 다른 형태를 제공합니다.

실험 결과

연구 질문

• RQ1 저랭크 모달리티-특정 융합이 성능 측면에서 전체 텐서 융합(TFN)과 비교해 어떻게 다른가?
• RQ2 LMF가 모달리티 수에 선형적으로 스케일링하면서도 경쟁력 있는 정확도 및 회귀 지표를 유지할 수 있는가?
• RQ3 다른 랭크 설정이 성능과 안정성에 미치는 영향은 무엇인가?
• RQ4 파라미터 수와 속도 면에서 LMF가 최첨단 멀티모달 융합 방법과 어떻게 비교되는가?

주요 결과

모델	CMU-MOSI MAE	CMU-MOSI Corr	CMU-MOSI Acc-2	CMU-MOSI F1	IEMOCAP Acc	IEMOCAP F1-Happy	IEMOCAP F1-Sad	IEMOCAP F1-Angry	IEMOCAP F1-Neutral	POM MAE	POM Corr	POM Acc	POM F1-Happy	POM F1-Sad	POM F1-Angry	POM F1-Neutral
TFN	0.970	0.633	73.9	73.4	32.1	0.886	0.093	31.6	83.6	82.8	84.2	65.4	-	-	-
LMF	0.912	0.668	76.4	75.7	32.8	0.796	0.396	42.8	85.8	85.9	89.0	71.7	-	-	-

• LMF는 평가한 데이터셋에서 TFN보다 현저히 우수하게 나타나 저랭크 융합의 이점을 강조합니다.
• LMF는 감정 분석(MOSI), 감정(IEMOCAP), 화자 특성(POM) 인식에서 최첨단 결과에 근접하거나 경쟁력이 있습니다.
• 이론적 및 실증 분석은 LMF가 모달리티 수에 선형으로 스케일링하고 TFN 대비 파라미터 수를 약 11배 줄임을 보여줍니다(3 모달리티 설정의 경우).
• LMF는 TFN에 비해 학습 및 추론 속도가 더 빠릅니다(보고된 설정의 학습 및 테스트 IPS).
• 랭크 설정: 매우 낮은 랭크로도 충분히 경쟁력 있는 성능을 얻을 수 있으며, 높은 랭크는 일부 사례에서 불안정성을 유발합니다.