[논문 리뷰] A Low-rank Matching Attention based Cross-modal Feature Fusion Method for Conversational Emotion Recognition

Yuntao Shou, Liu, Huan외 3명|arXiv (Cornell University)|2023. 06. 16.

Emotion and Mood Recognition인용 수 12

한 줄 요약

LMAM은 텍스트, 오디오, 비디오 특징을 효율적으로 융합하여 CER을 향상시키는 저랭크 교차모달 융합 모듈로, 자기-주목(self-attention) 대비 파라미터 수가 현저히 적고, 최첨단 CER 모델에 플러그인했을 때 성능을 높인다.

ABSTRACT

Conversational emotion recognition (CER) is an important research topic in human-computer interactions. {Although recent advancements in transformer-based cross-modal fusion methods have shown promise in CER tasks, they tend to overlook the crucial intra-modal and inter-modal emotional interaction or suffer from high computational complexity. To address this, we introduce a novel and lightweight cross-modal feature fusion method called Low-Rank Matching Attention Method (LMAM). LMAM effectively captures contextual emotional semantic information in conversations while mitigating the quadratic complexity issue caused by the self-attention mechanism. Specifically, by setting a matching weight and calculating inter-modal features attention scores row by row, LMAM requires only one-third of the parameters of self-attention methods. We also employ the low-rank decomposition method on the weights to further reduce the number of parameters in LMAM. As a result, LMAM offers a lightweight model while avoiding overfitting problems caused by a large number of parameters. Moreover, LMAM is able to fully exploit the intra-modal emotional contextual information within each modality and integrates complementary emotional semantic information across modalities by computing and fusing similarities of intra-modal and inter-modal features simultaneously. Experimental results verify the superiority of LMAM compared with other popular cross-modal fusion methods on the premise of being more lightweight. Also, LMAM can be embedded into any existing state-of-the-art CER methods in a plug-and-play manner, and can be applied to other multi-modal recognition tasks, e.g., session recommendation and humour detection, demonstrating its remarkable generalization ability.

연구 동기 및 목표

• 모델 내 모달 간 상호작용과 모달 간 상호작용, 그리고 높은 모델 복잡성을 다루어 CER를 위한 교차모달 융합의 개선을 도모한다.
• 텍스트, 비디오, 오디오 특징을 효율적으로 융합하기 위한 저랭크 매칭 어텐션 메커니즘(LMAM)을 제안한다.
• LMAM이 기존 CER 모델에 임베드되어 과적합 위험을 줄인 채 정확도를 높일 수 있음을 보여준다.

제안 방법

• 공유된 저랭크 가중치를 갖는 모달 특징 간의 행(row-wise) 매칭 어텐션을 계산하는 LMAM을 도입한다.
• 가중치에 저랭크 분해를 적용하여 파라미터 수를 자기주목(self-attention)의 3분의 1 미만으로 감소시킨다.
• 텍스트, 비디오, 오디오 간의 맥락 정보와 보완 정보를 활용하기 위해 모달 내부(intra-modal) 및 모달 간(inter-modal) 유사성을 융합한다.
• 세 가지 융합 전략(초기 융합, 잔차가 있는 초기 융합, 그리고 후기 융합)을 통해 LMAM을 통합한다; 안정성을 위해 잔차 연결을 사용한다.
• LMAM이 다수의 백본(TextCNN, bc-LSTM, DialogueRNN, DialogueGCN, MM-DFN, M2FNet, EmoCaps 등)에 걸쳐 플러그 앤 플레이 모듈로 동작함을 입증한다.
• 자기주목 대비 LMAM의 계산 이점(더 낮은 시간 복잡도 및 파라미터 수)을 보이는 복잡도 분석을 제공한다.

실험 결과

연구 질문

• RQ1 LMAM이 CER에서 모달 내 맥락과 모달 간 보완성을 활용하여 교차모달 융합을 개선하는가?
• RQ2 LMAM이 다양한 최첨단 CER 아키텍처에 임베드되어 일관되게 성능을 향상시킬 수 있는가?
• RQ3 벤치마크 CER 데이터셋에서 Add, Concatenate, TFN, LFM 등 다른 융합 방법과 정확도 및 F1 측면에서 LMAM은 어떻게 비교되는가?
• RQ4 LMAM을 적용할 때 CER에 대해 세 모달을 모두 사용할지 단일 모달을 사용할지의 영향은 무엇인가?

주요 결과

• LMAM은 플러그 앤 플레이 방식으로 통합될 때 일곱 개의 백본 CER 방법에서 성능을 향상시킨다.
• LMAM은 EmoCaps 백본에서 IEMOCAP 및 MELD에서 Add, Concatenate, TFN, LFM보다 더 높은 정확도와 F1을 달성한다(표 4의 최고 결과: IEMOCAP Acc/F1 = 73.0/73.0; MELD Acc/F1 = 65.4/64.9).
• 자기주목과 비교하여 LMAM은 파라미터 수와 학습 시간이 현저히 적다(예: LMAM 0.62M vs. Self-attention 3.42M; LMAM 17.8s vs. 58.7s per epoch).
• LMAM의 성능 향상은 파라미터 수를 동등한 수준으로 증가시켜도 지속되며, 이는 모델 크기가 아닌 LMAM 설계 때문임을 시사한다(표 3).
• 단일 모달 결과는 텍스트가 CER에 가장 강하지만, 세 가지 모달을 모두 결합하는 것이 최상의 성능을 낸다(IEMOCAP 및 MELD, 표 5).
• LMAM의 저랭크 가중치 분해는 파라미터를 줄이면서도 데이터셋 전반에서 정확도를 유지하거나 향상시키며(랭크 연구에서 랭크 45가 최적으로 제안됨).