[論文レビュー] Learning a General Clause-to-Clause Relationships for Enhancing Emotion-Cause Pair Extraction

Hang Chen, Xinyu Yang+1 more|arXiv (Cornell University)|Aug 29, 2022

Advanced Text Analysis Techniques被引用数 7

ひとこと要約

本稿では、多値マスクGATと活性化ソートを用いて、外文節、文間、文内関係という新たな文節間関係を学習する、新たな文節レベル符号化モデルEA-GATを提案する。このモデルは感情・原因対抽出（ECPE）の性能を向上させ、複数のベースラインおよび埋め込みモデルを用いた中国語と英語のベンチマークでF1スコアをそれぞれ2.1%および1.03%向上させた。

ABSTRACT

Emotion-cause pair extraction (ECPE) is an emerging task aiming to extract potential pairs of emotions and corresponding causes from documents. Previous approaches have focused on modeling the pair-to-pair relationship and achieved promising results. However, the clause-to-clause relationship, which fundamentally symbolizes the underlying structure of a document, has still been in its research infancy. In this paper, we define a novel clause-to-clause relationship. To learn it applicably, we propose a general clause-level encoding model named EA-GAT comprising E-GAT and Activation Sort. E-GAT is designed to aggregate information from different types of clauses; Activation Sort leverages the individual emotion/cause prediction and the sort-based mapping to propel the clause to a more favorable representation. Since EA-GAT is a clause-level encoding model, it can be broadly integrated with any previous approach. Experimental results show that our approach has a significant advantage over all current approaches on the Chinese and English benchmark corpus, with an average of $2.1\%$ and $1.03\%$.

研究の動機と目的

• 感情・原因対抽出（ECPE）における未だ十分に検討されていない文節間関係に取り組む。これは文書の根本的構造を成すが、先行研究では軽視されている。
• 文書レベルの文節間関係の体系的分類を定義する：外文節、文間、文内関係。
• 任意の既存ECPEフレームワークに統合可能な汎用的な文節レベル符号化モデルを開発する。
• BiLSTMや標準GATに依存する従来モデルの限界を克服する。これらは長距離の文節依存関係や順序構造を捉えられていない。
• 予測順序を文節表現と一致させるために、活性化に基づく前処理技術「Activation Sort」を導入し、表現の一貫性と性能を向上させる。

提案手法

• 新たな文節間関係分類を定義する：外文節（異なる文節）、文間（同じ文節内、異なる文節）、文内（同じ文節、自己影響）。
• 三種類の文節間関係タイプごとに別々の注意マスクを用いる多値マスクGAT（E-GAT）を提案する。
• 活性化ソート（Activation Sort）を導入する：微分不能なソートベースのマッピングで、感情および原因スコアに基づいて文節表現を再順序付けし、表現の一貫性を向上させる。
• 活性化ソートの出力を2番目のE-GATモジュールの補助入力として使用し、より豊かな文脈に適合した文節表現を学習可能にする。
• EA-GATを既存のECPEパイプラインにプラグインとして統合し、従来のBiLSTMやGATベースのエンコーダーを置き換えたり強化したりする。
• 感情抽出、原因抽出、対抽出のための共同損失関数を用いてエンドツーエンドで学習し、主ネットワークの勾配伝播を維持する。

実験結果

リサーチクエスチョン

• RQ1 感情文書の下位構造的階層を反映するように、文節間関係を体系的に定義する方法は何か？
• RQ2 多値マスクGATモデルは、外文節、文間、文内関係を区別することで、効果的に表現を学習できるか？
• RQ3 活性化ソート機構は、サブタスクの予測順序と文節表現を一致させることで、表現の一貫性と質を向上させるか？
• RQ4 アーキテクチャの変更なしに、EA-GATは異なるECPEモデル、語彙埋め込み（例：BERT、word2vec）、言語（中国語および英語）にどの程度一般化可能か？
• RQ5 文節レベルの符号化コンponentは、対レベルや語彙レベルのモデリングと比較して、ECPE全体の性能にどの程度寄与するか？

主な発見

• EA-GATは、テストされたすべてのベースラインで中国語ECPEベンチマークで平均F1スコアを2.1%向上させ、英語RECCONベンチマークで1.03%向上させた。
• BERTを用いる場合、感情抽出F1は1.17%向上、BERTを用いない場合0.89%向上した。原因抽出F1は、BERTを用いる場合1.77%、用いない場合2.75%向上した。これは原因抽出でより顕著な向上が得られたことを示している。
• 10種類の独立したECPEベースラインに統合した結果、平均対抽出F1スコアは2.14%向上し、優れた一般化能力を示した。
• word2vec、BERT、RoBERTaの3種類の語彙埋め込みタイプすべてにおいて、平均F1スコアをそれぞれ1.89%、2.35%、1.03%向上させた。
• アブレーションスタディの結果、多値マスク注意と活性化ソートの両方が性能向上に顕著な貢献をしていることが確認され、特に後者は予測順序と文節表現の一致に大きな利点を示した。
• ケーススタディおよび隣接行列解析から、EA-GATは特に複数の文節を含む複雑な文において、長距離および構造的文節依存関係を効果的に捉えていることが明らかになった。