[論文レビュー] A Low-rank Matching Attention based Cross-modal Feature Fusion Method for Conversational Emotion Recognition

Yuntao Shou, Liu, Huan+3 more|arXiv (Cornell University)|Jun 16, 2023

Emotion and Mood Recognition被引用数 12

ひとこと要約

LMAMは低ランクのクロスモーダル融合モジュールで、テキスト・音声・映像の特徴を自己注意機構よりはるかに少ないパラメータで効率的に統合することでCERを向上させ、最先端のCERモデルに組み込むと性能が向上します。

ABSTRACT

Conversational emotion recognition (CER) is an important research topic in human-computer interactions. {Although recent advancements in transformer-based cross-modal fusion methods have shown promise in CER tasks, they tend to overlook the crucial intra-modal and inter-modal emotional interaction or suffer from high computational complexity. To address this, we introduce a novel and lightweight cross-modal feature fusion method called Low-Rank Matching Attention Method (LMAM). LMAM effectively captures contextual emotional semantic information in conversations while mitigating the quadratic complexity issue caused by the self-attention mechanism. Specifically, by setting a matching weight and calculating inter-modal features attention scores row by row, LMAM requires only one-third of the parameters of self-attention methods. We also employ the low-rank decomposition method on the weights to further reduce the number of parameters in LMAM. As a result, LMAM offers a lightweight model while avoiding overfitting problems caused by a large number of parameters. Moreover, LMAM is able to fully exploit the intra-modal emotional contextual information within each modality and integrates complementary emotional semantic information across modalities by computing and fusing similarities of intra-modal and inter-modal features simultaneously. Experimental results verify the superiority of LMAM compared with other popular cross-modal fusion methods on the premise of being more lightweight. Also, LMAM can be embedded into any existing state-of-the-art CER methods in a plug-and-play manner, and can be applied to other multi-modal recognition tasks, e.g., session recommendation and humour detection, demonstrating its remarkable generalization ability.

研究の動機と目的

• CERのモーダル内およびモーダル間の相互作用と高いモデル複雑性に対処することで、クロスモーダル融合の改善を目指す。
• テキスト、ビデオ、オーディオの特徴を効率的に統合する低ランク対応型注意機構（LMAM）を提案する。
• LMAMを既存のCERモデルへ組み込み、過学習リスクを低減しつつ精度を向上させることを示す。

提案手法

• 共有低ランク重みを用いてモーダル特徴間の行ごとにマッチング注意を計算するLMAMを導入する。
• 重みに低ランク分解を適用し、自己注意のパラメータ数の三分の一未満まで削減する。
• テキスト・ビデオ・オーディオ間の文脈的・補完的情報を活用するため、モーダル内およびモーダル間の類似性を統合する。
• Early fusion、Residual付きのEarly fusion、Late fusionの3つの融合戦略を通じてLMAMを統合する。安定性のために残差接続を用いる。
• LMAMをTextCNN、bc-LSTM、DialogueRNN、DialogueGCN、MM-DFN、M2FNet、EmoCapsなど、複数のバックボーンでプラグアンドプレイ可能なモジュールとして実証する。
• LMAMの自己注意と比較した計算優位性（時間とパラメータ数の削減）を示す計算量分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 LMAMはCERにおけるモーダル内コンテキストとモーダル間の補完性を活用してクロスモーダル融合を改善するか？
• RQ2 LMAMは多様な最先端CERアーキテクチャに組み込んでも一貫して性能を向上させるか？
• RQ3 LMAMは精度とF1の点で、追加、結合、TFN、LFMなどの他の融合手法と比較してどの程度優れているか（ベンチマークCERデータセットで）？
• RQ4 LMAMを適用すると、全モダリティを使用した場合と単一モダリティの場合でCERに与える影響はどう変わるか？

主な発見

• LMAMは7つのバックボーンCER手法においてプラグアンドプレイとして統合することで性能を向上させる。
• LMAMはIEMOCAPおよびMELDで、EmoCapsバックボーンを用いた場合Add、Concatenate、TFN、LFMより高い精度とF1を達成する（表4の最良結果：IEMOCAP Acc/F1 = 73.0/73.0; MELD Acc/F1 = 65.4/64.9）。
• 自己注意と比較して、LMAMは遥かに少ないパラメータと学習時間を必要とする（例：LMAM 0.62M vs. Self-attention 3.42M；LMAM 17.8s vs. 58.7s per epoch）。
• LMAMのパラメータ数を等化レベルに増やしても性能向上が持続することから、 gainsはLMAM設計に起因し、モデルサイズには起因しないことを示す（Table 3）。
• 単一モーダルの結果ではテキストがCERに最も強いが、3モーダルをすべて組み合わせると最良の性能を示す（IEMOCAPとMELD、Table 5）。
• LMAMの低ランク重み分解はパラメータを削減しつつ、データセット全体で精度を維持または向上させる（ランク研究は最適とされるランク45を示唆）。