[論文レビュー] RTHN: A RNN-Transformer Hierarchical Network for Emotion Cause Extraction

Rui Xia, Mengran Zhang+1 more|arXiv (Cornell University)|Jun 4, 2019

Sentiment Analysis and Opinion Mining参考文献 21被引用数 13

ひとこと要約

本稿では、相対的位置情報とグローバル予測符号化を組み込んだトランスフォーマー・エンコーダーを用いて句レベルの依存関係をモデル化する、新たなRNN-Transformer階層型ネットワークRTHNを提案する。複数の句を同時に分類することで句間の相関関係や因果関係を捉え、共同で予測することで、76.77%のF1スコアを達成し、以前のSOTA（72.69%）を上回る新たな最先端水準を達成した。

ABSTRACT

The emotion cause extraction (ECE) task aims at discovering the potential causes behind a certain emotion expression in a document. Techniques including rule-based methods, traditional machine learning methods and deep neural networks have been proposed to solve this task. However, most of the previous work considered ECE as a set of independent clause classification problems and ignored the relations between multiple clauses in a document. In this work, we propose a joint emotion cause extraction framework, named RNN-Transformer Hierarchical Network (RTHN), to encode and classify multiple clauses synchronously. RTHN is composed of a lower word-level encoder based on RNNs to encode multiple words in each clause, and an upper clause-level encoder based on Transformer to learn the correlation between multiple clauses in a document. We furthermore propose ways to encode the relative position and global predication information into Transformer that can capture the causality between clauses and make RTHN more efficient. We finally achieve the best performance among 12 compared systems and improve the F1 score of the state-of-the-art from 72.69\% to 76.77\%.

研究の動機と目的

• 従来の感情原因抽出手法が句を独立した分類タスクとして扱い、句間の関係性を無視しているという限界を解消すること。
• 文書内の句間における相関（意味的類似性）と因果関係（時間的・論理的依存関係）をモデル化し、より正確な感情原因の推論を実現すること。
• 文書内のすべての句に対して同時に感情原因を予測する共同分類フレームワークを構築し、一般化性能と一貫性を向上させること。
• 相対的位置情報とグローバル予測情報といった明示的な構造的事前知識をトランスフォーマー構造に統合し、因果関係のモデル化を強化すること。
• ベンチマークECEコーパス上で優れた性能を示し、感情原因抽出分野における新たな最先端結果を確立すること。

提案手法

• 各句内の単語を密な句レベル表現に変換するため、下位層のRNNベースエンコーダー（Bi-LSTM）を用いる。
• 文書内の複数の句間の長距離依存関係や相関関係をモデル化するため、句レベルにスタックされたトランスフォーマー・エンコーダーを適用する。
• 句間の順序と時間的構造を保持するため、相対的位置符号化（RPE）を導入し、因果関係のモデル化を改善する。
• すべての句における予測確率分布の集団的性質をモデル化するため、グローバル予測符号化（GPE）を組み込む。これにより、予測のスパarsityと一貫性が強化される。
• トランスフォーマーの自己注意機構内にRPEとGPEを統合し、因果的に関連する句に注目を向ける能力を強化する。
• 最終段階でソフトマックス層を用いて、すべての句を同時に感情原因または非原因として共同分類する。

実験結果

リサーチクエスチョン

• RQ1 階層型RNN-Transformerアーキテクチャは、独立した句分類とは異なり、複数の句を共同でモデル化することで、感情原因抽出の性能を向上させることができるか？
• RQ2 トランスフォーマー・エンコーダーは、感情原因推論における句間の相関関係と因果的依存関係をどれほど効果的に捉えられるか？
• RQ3 相対的位置符号化とグローバル予測符号化は、句間の因果関係を推論する能力をどの程度向上させるか？
• RQ4 単語レベルにRNN、句レベルにトランスフォーマーを組み合わせたハイブリッドアーキテクチャは、単独のRNNまたはトランスフォーマーを用いる場合よりも優れた性能を示すか？
• RQ5 明示的な構造的事前知識（RPEとGPE）は、感情原因抽出における最終F1スコアにどの程度寄与しているか？

主な発見

• RTHNは、ベンチマークECEコーパス上で76.77%のF1スコアを達成し、以前のSOTA（72.69%）を上回る新たな最先端水準を達成した。
• アブレーションスタディの結果、グローバル予測符号化（RTHN-No-GPE）を削除するとF1スコアが3ポイント以上低下（73.14%）し、その重要性が確認された。
• 相対的位置符号化（RTHN-No-RPE）を削除すると、F1スコアが41.45%まで著しく低下し、因果順序のモデル化におけるその重要性が示された。
• 絶対的位置符号化を相対的位置符号化の代わりに使用した場合（RTHN-APE）ではF1スコアが56.94%にとどまり、相対的位置情報が性能に不可欠であることが示された。
• RNN-Transformerハイブリッドアーキテクチャ（RTHN）は、RNNのみ（RRHN、F1=75.34%）およびトランスフォーマーのみ（TTHN、F1=69.52%）の組み合わせを上回る性能を示し、設計選択の有効性が裏付けられた。
• 注目重みの分析により、モデルが真の感情原因句に対して最も高い注目重みを割り当てており、特に正しい原因句に集中した分布が観察された（例：β₃,₄ = 0.66）。