[論文レビュー] From Independent Prediction to Re-ordered Prediction: Integrating Relative Position and Global Label Information to Emotion Cause Identification

Zixiang Ding, Huihui He+2 more|arXiv (Cornell University)|Jun 4, 2019

Sentiment Analysis and Opinion Mining参考文献 18被引用数 14

ひとこと要約

本稿では、感情文に対する相対的位置と動的グローバルラベル情報を再順序予測フレームワークを通じて統合することで、感情原因特定を向上させる新しいニューラルネットワークモデルを提案する。相対的位置拡張埋め込み（PAE）を導入し、感情文に近い順に節を再順序することで、ベンチマークデータセット上で最先端の性能を達成し、独立予測よりF1スコアを4.78%向上させ、上限ベースラインより5.04%向上した。

ABSTRACT

Emotion cause identification aims at identifying the potential causes that lead to a certain emotion expression in text. Several techniques including rule based methods and traditional machine learning methods have been proposed to address this problem based on manually designed rules and features. More recently, some deep learning methods have also been applied to this task, with the attempt to automatically capture the causal relationship of emotion and its causes embodied in the text. In this work, we find that in addition to the content of the text, there are another two kinds of information, namely relative position and global labels, that are also very important for emotion cause identification. To integrate such information, we propose a model based on the neural network architecture to encode the three elements ($i.e.$, text content, relative position and global label), in an unified and end-to-end fashion. We introduce a relative position augmented embedding learning algorithm, and transform the task from an independent prediction problem to a reordered prediction problem, where the dynamic global label information is incorporated. Experimental results on a benchmark emotion cause dataset show that our model achieves new state-of-the-art performance and performs significantly better than a number of competitive baselines. Further analysis shows the effectiveness of the relative position augmented embedding learning algorithm and the reordered prediction mechanism with dynamic global labels.

研究の動機と目的

• 独立予測の限界を是正するため、グローバルラベル情報や相対的位置情報が十分に活用されていない問題に取り組む。
• 単純な位置符号化ではなく、学習された埋め込みとして相対的位置を統合することで、モデル性能を向上させる。
• 動的グローバルラベル特徴を用いた再順序予測問題に変換することで、節間の依存関係をモデル化する。
• 相対的位置とグローバルラベル情報を統合することで、感情原因特定における顕著な性能向上が達成されることを示す。
• コンテンツ、相対的位置、グローバルラベル情報を統合的に符号化する統一的でエンド・ツー・エンドのニューラルアーキテクチャを提供する。

提案手法

• 特徴次元数を増加させずに、位置に敏感な表現を学習するためのエンコード・デコードアーキテクチャを用いた相対的位置拡張埋め込み（PAE）モジュールを導入する。
• 感情文からの絶対的距離に基づいて文書内の節を再順序し、感情文に近い節を優先して予測する。
• 独立予測タスクを、先行予測が後続の予測に文脈特徴として影響を与える動的グローバルラベル（DGL）特徴を用いた順序付き再順序予測問題に変換する。
• 直前の節の予測ラベルを後続の予測の文脈特徴として用いることで、文書レベルの一貫性を強化する。
• 節符号化にBi-LSTMを用い、PAEとDGL特徴をエンド・ツー・エンドで学習可能な形で統合する。
• 学習時には真のラベルを、推論時には予測ラベルをDGL特徴に用いることで、実環境での運用を模擬する。

実験結果

リサーチクエスチョン

• RQ1 単純な位置符号化を超えて、相対的位置情報を単語埋め込みに効果的に統合できるか？
• RQ2 感情文に近い順に節を再順序することで、独立予測と比較してモデル性能が向上するか？
• RQ3 事前に予測された節からの動的グローバルラベル情報を統合することで、予測精度がどの程度向上するか？
• RQ4 従来の位置埋め込みと節レベルの位置符号化と比較して、提案されたPAE手法は性能と一般化能力において優れているか？
• RQ5 DGL機構で真のグローバルラベルを使用した場合の性能向上の上限はどの程度か？

主な発見

• 提案されたPAE手法は、位置埋め込みと節レベルの位置符号化を上回り、相対的位置情報の統合がより効果的であることを示した。
• 感情文に近い順に節を再順序することで、独立予測（F1: 0.7242 vs. 0.6764）と比較してF1スコアが4.78%向上し、予測順序の重要性を裏付けた。
• 推論時にDGL特徴に真のグローバルラベルを用いることでF1スコアが0.7633に達し、予測ラベルを使用するモデル（F1: 0.7129）と比較して5.04%高い結果を得た。これはグローバルラベル統合の潜在的効果を示している。
• ベンチマーク感情原因データセット上で、複数の競合ベースラインを大きく上回る、新たな最先端性能を達成した。
• アブレーションスタディの結果、PAEモジュールおよび再順序予測機構に動的グローバルラベルを組み込むことが、モデルの性能向上に不可欠であることが確認された。
• 結果から、感情原因特定における節間の依存関係は強く、再順序されたシーケンスにおける動的ラベル伝搬によって効果的にモデル化可能であることが示された。