[論文レビュー] Weakly-supervised Multi-task Learning for Multimodal Affect Recognition

Wenliang Dai, Samuel Cahyawijaya+2 more|arXiv (Cornell University)|Apr 23, 2021

Sentiment Analysis and Opinion Mining参考文献 40被引用数 13

ひとこと要約

本論文は、感情認識、センチメント分析、皮肉認識の分野において、弱いラベル（例：センチメントや皮肉）を用いた補助的タスクを活用することで、小規模なデータセットにおけるマルチモーダル感情認識の性能を向上させる弱教師付きマルチタスク学習（WS-MTL）を提案する。この手法は、最大で2.9%の精度向上と3.3%のF1スコア向上を達成し、モデルの安定性も向上させ、タスクが強く相関している場合、弱教師付き学習が強教師付き学習と同等の性能を発揮できることを示している。

ABSTRACT

Multimodal affect recognition constitutes an important aspect for enhancing interpersonal relationships in human-computer interaction. However, relevant data is hard to come by and notably costly to annotate, which poses a challenging barrier to build robust multimodal affect recognition systems. Models trained on these relatively small datasets tend to overfit and the improvement gained by using complex state-of-the-art models is marginal compared to simple baselines. Meanwhile, there are many different multimodal affect recognition datasets, though each may be small. In this paper, we propose to leverage these datasets using weakly-supervised multi-task learning to improve the generalization performance on each of them. Specifically, we explore three multimodal affect recognition tasks: 1) emotion recognition; 2) sentiment analysis; and 3) sarcasm recognition. Our experimental results show that multi-tasking can benefit all these tasks, achieving an improvement up to 2.9% accuracy and 3.3% F1-score. Furthermore, our method also helps to improve the stability of model performance. In addition, our analysis suggests that weak supervision can provide a comparable contribution to strong supervision if the tasks are highly correlated.

研究の動機と目的

• 小規模で高コストなアノテーションが求められるデータセットによるマルチモーダル感情認識の性能ボトルネックを解消すること。
• 弱教師付きマルチタスク学習が、限られたデータにおけるマルチモーダル感情認識タスクの汎化性能と安定性を向上させられるかどうかを調査すること。
• 感情認識、センチメント分析、皮肉検出の分野において、強いラベルと比較して弱いラベル（例：センチメント、皮肉）が性能向上にどの程度効果的かを評価すること。
• 今後の研究のための強力なベースラインとして、早期融合と後期融合を組み合わせたシンプルだが効果的なハイブリッド融合手法を提案すること。

提案手法

• 著者らは、モダリティ特徴の早期連結（早期融合）とモダリティ固有の予測の後期連結（後期融合）を組み合わせたハイブリッドモダリティ統合戦略を採用し、最小限の複雑さで優れた性能を達成している。
• 関連するデータセットから得られる弱いラベルを用いた、弱教師付きマルチタスク学習を適用。主タスク（例：感情認識）と補助タスク（例：センチメントや皮肉）を同時に学習する。
• 弱いラベルからのノイズを低減し、補助タスクの寄与度をバランスさせるために、信頼度スコアや手動で調整された重みを用いた損失重み付けを実施している。
• 複数の小規模な単一タスクラベル付きデータセットを同時に学習することで、追加のアノテーションなしに、暗黙的にデータ拡張を実現する、クロスデータセット知識移行を活用している。
• モデルの性能は、IEMOCAP、CMU-MOSEI、MELDデータセットにおける感情認識、センチメント分析、皮肉認識の3つのタスクで、重み付き正解率とF1スコアを用いて評価されている。
• 補助タスクの選定を正当化し、タスクの関連性を検証するために、皮肉とセンチメントの間のピアソン相関などのラベル相関を分析している。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きマルチタスク学習は、小規模で単一ラベル付きのデータセットにおけるマルチモーダル感情認識モデルの性能を向上させられるか？
• RQ2 補助タスクが主タスクと強く相関している場合、弱教師付き学習の性能は強教師付き学習と比較してどの程度の水準に達するか？
• RQ3 複数の異なる補助タスクからの弱いラベルを同時に組み合わせることで性能が向上するか、それとも学習を妨げるノイズを引き起こすか？
• RQ4 早期融合と後期融合を組み合わせたシンプルなハイブリッド融合手法は、複雑な最先端モデルを上回る性能を発揮できるか？
• RQ5 マルチタスク学習は、小規模データセットに起因する性能の不安定性をどの程度軽減できるか？

主な発見

• 弱教師付きマルチタスク学習により、感情認識、センチメント分析、皮肉認識の各タスクで、最大で2.9%の精度向上と3.3%のF1スコア向上が達成された。
• 性能向上は、3つのタスクと3つのデータセットすべてで一貫しており、特に皮肉認識タスクで最大の向上が観察された。
• MTLによるモデル安定性の向上が確認され、IEMOCAPデータセットでは重み付き正解率とF1スコアの標準偏差がそれぞれ0.4%と0.3%低下した。
• 弱いラベル（例：センチメントや感情）は、特に弱いラベルにニュートラルクラスが含まれるため、センチメント分析において強い感情ラベルと同等またはそれ以上の寄与を示した。
• 2つの弱いラベルを同時に追加しても、単一の補助タスクを用いる場合と比較して性能向上が見られず、複数の弱いソースからのノイズが学習を妨げることが示唆された。
• 早期・後期融合を組み合わせたハイブリッドモデルは、最先端の複雑なモデルを上回るか、同等の性能を発揮し、今後のマルチモーダル感情認識研究の強力でシンプルなベースラインとして確立された。