[論文レビュー] Joint Alignment of Multi-Task Feature and Label Spaces for Emotion Cause Pair Extraction

Shunjie Chen, Xiaochuan Shi+5 more|arXiv (Cornell University)|Sep 9, 2022

Sentiment Analysis and Opinion Mining被引用数 15

ひとこと要約

本稿では、感情原因対抽出（ECPE）のための新しいマルチタスク学習フレームワークA²Netを提案する。この手法は、タスク固有の特徴と共有特徴を同時にモデル化するための特徴タスク整合化（FTA）と、ECPEとその補助タスク（EE/CE）間のラベル予測の不一致を低減するためのタスク間整合化（ITA）を併用する。特徴表現の向上と予測の一貫性の強化により、最小限のパラメータオーバーヘッドと速度の低下なしに、すべてのECAサブタスクで最先端の性能を達成する。

ABSTRACT

Emotion cause pair extraction (ECPE), as one of the derived subtasks of emotion cause analysis (ECA), shares rich inter-related features with emotion extraction (EE) and cause extraction (CE). Therefore EE and CE are frequently utilized as auxiliary tasks for better feature learning, modeled via multi-task learning (MTL) framework by prior works to achieve state-of-the-art (SoTA) ECPE results. However, existing MTL-based methods either fail to simultaneously model the specific features and the interactive feature in between, or suffer from the inconsistency of label prediction. In this work, we consider addressing the above challenges for improving ECPE by performing two alignment mechanisms with a novel A^2Net model. We first propose a feature-task alignment to explicitly model the specific emotion-&cause-specific features and the shared interactive feature. Besides, an inter-task alignment is implemented, in which the label distance between the ECPE and the combinations of EE&CE are learned to be narrowed for better label consistency. Evaluations of benchmarks show that our methods outperform current best-performing systems on all ECA subtasks. Further analysis proves the importance of our proposed alignment mechanisms for the task.

研究の動機と目的

• 既存のマルチタスク学習手法が、タスク固有の特徴と共有特徴を同時にモデル化できないこと、およびECPEとその補助タスク間でラベル予測の不一致が生じることに起因する限界を解消すること。
• 感情固有、原因固有、インタラクティブ特徴をそれぞれのタスク（EE, CE, ECPE）に明示的に統合することで、特徴学習を向上させること。
• ECPEとEE・CEの予測の組み合わせとの間でラベル分布の乖離を最小限に抑えることで、ECPE, EE, CE間の予測一貫性を向上させること。
• 推論コストを増加させることなく、高い性能を維持できる軽量で効率的なモデルを開発すること。

提案手法

• A²Netは、文書エンコーダーとしてBERTを用い、文脈に依存する節表現を生成する。
• パartitionフィルターネットワーク（PFN）を導入して、エンコーディングされた特徴を3つの成分に分割する：感情固有、原因固有、相互作用特徴。
• 感情固有および相互作用特徴は感情抽出（EE）に、原因固有および相互作用特徴は原因抽出（CE）に、すべての3つの特徴はECPEに使用される。
• タスク間統合は、ECPEの出力確率分布とEEとCEの予測の積との間で、双方向Kullback-Leibler（KL）ダイバージェンスを最小化することで達成され、ラベルの一貫性が促進される。
• モデルは、EE, CE, ECPEの分類ヘッドを統合したマルチタスク損失と、KLベースの正則化を用いたタスク間統合を組み合わせて、エンドツーエンドで訓練される。
• フレームワークは標準的なECAベンチマークで評価され、アブレーションスタディにより両統合機構の有効性が確認されている。

実験結果

リサーチクエスチョン

• RQ1 共有特徴または並列特徴エンコーディングと比較して、タスク固有および共有特徴を明示的にモデル化することで、ECPEの性能が向上するか？
• RQ2 ECPEとその補助タスク（EE/CE）間のラベル予測の不一致を低減させることで、全体の性能が向上するか？
• RQ3 特徴タスク統合とタスク間統合が、それぞれモデルの頑健性および正確性にどの程度寄与するか？
• RQ4 提案された統合機構は、パラメータ数や推論時間の増加なしに効率的に実装可能か？

主な発見

• A²Netは、ベンチマークデータセット上で、感情抽出（EE）、原因抽出（CE）、感情原因対抽出（ECPE）の3つのECAサブタスクすべてで最先端の性能を達成した。
• アブレーションスタディの結果、特徴タスク統合（FTA）またはタスク間統合（ITA）のいずれかを削除すると、特にCEで顕著な性能低下が生じ、両モジュールが不可欠であることが示された。
• タスク間統合機構により予測の一貫性が向上した：ECPEとEE間の一致率は98.2%に達し、ECPEとCE間の一致率は97.8%に達し、ベースラインのRANKCPを上回った。
• モデルは高い効率性を維持しており、104.97Mパラメータ（RANKCPよりわずかに少ない）かつ同じ推論速度（195ドキュメント/秒）を達成しており、統合機構が効率性に悪影響を及えないことを証明した。
• 事例スタディにより、タスク間統合モジュールが不一致予測を是正することが確認された—例えば、CEにおける誤った否定やECPEにおける誤ったペアリングを正規化することで是正した。
• 特徴タスク統合機構は、特にCEにおいて顕著に有効であった。FTAを削除するとCEの性能が著しく低下し、これは原因固有表現を学習するうえでFTAが果たす役割の重要性を示している。