[論文レビュー] Selective Attention Based Graph Convolutional Networks for Aspect-Level Sentiment Classification

Xiaochen Hou, Jing Huang+3 more|arXiv (Cornell University)|Oct 24, 2019

Sentiment Analysis and Opinion Mining被引用数 15

ひとこと要約

本稿では、BERTでエンコードされた表現、依存木構文をGCNで処理し、上位k個の注目選択された文脈語を統合することで、長距離依存を扱うことを目的とした選択的注目ベースのグラフ畳み込みネットワーク、SA-GCNを提案する。本モデルは、意見抽出を補助タスクとして共同学習することで、SemEvalベンチマークで最先端の性能を達成する。

ABSTRACT

Aspect-level sentiment classification aims to identify the sentiment polarity towards a specific aspect term in a sentence. Most current approaches mainly consider the semantic information by utilizing attention mechanisms to capture the interactions between the context and the aspect term. In this paper, we propose to employ graph convolutional networks (GCNs) on the dependency tree to learn syntax-aware representations of aspect terms. GCNs often show the best performance with two layers, and deeper GCNs do not bring additional gain due to over-smoothing problem. However, in some cases, important context words cannot be reached within two hops on the dependency tree. Therefore we design a selective attention based GCN block (SA-GCN) to find the most important context words, and directly aggregate these information into the aspect-term representation. We conduct experiments on the SemEval 2014 Task 4 datasets. Our experimental results show that our model outperforms the current state-of-the-art.

研究の動機と目的

• 依存木上で、主題語と意見語が2ホップを超えて離れている場合に、標準的なGCNが長距離構文的依存を捉える能力に限界があることに対処する。
• 自己注意機構を用いて、特に意見語を含む最も関連性の高い文脈語に直接注目することで、主題レベルの感情分類を向上させる。
• 補助タスクとしての意見語抽出と共同で学習させることで、モデルの頑健性と解釈可能性を向上させる。
• すべてのノードを経由してメッセージを伝搬するのではなく、影響度の高い文脈語に選択的に注目することで、深層GCNにおける過剰平滑化問題を克服する。

提案手法

• モデルは、文内の主題語と文脈語の初期表現をBERTでエンコードする。
• 依存木に対してGCNを適用し、構文情報を伝搬させ、構文に敏感な表現を学習する。
• 上位k個のマルチヘッド自己注意機構が、注意スコアに基づいて各主題語に対して最も関連性の高いk個の文脈語を選択する。
• 上位k個で選択された文脈語に対して、2番目のGCN層を適用し、それらの情報を主題語表現に統合する。
• CRFデコーダーを用いて、注目選択プロセスに追加の監視を提供する形で、感情分類と意見語抽出を共同で学習する。
• ヘッド独立選択を用いることで、ヘッド間の注意スコアを集約し、ノイズや一貫性のない選択をフィルタリングすることで、頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 依存木上で意見語が主題語から離れている場合に、選択的注目メカニズムがGCNベースのモデルの主題レベル感情分類性能を向上させられるか。
• RQ2 意見語抽出と共同で学習させることで、主題レベル感情分類モデルの性能と解釈可能性が向上するか。
• RQ3 ヘッド独立選択とヘッド従属選択の2つの注意選択戦略の違いが、モデルの性能と頑健性に与える影響は何か。
• RQ4 提案されたSA-GCNモデルが、深層GCNにおける過剰平滑化問題を、長距離依存学習においてどの程度軽減できるか。

主な発見

• SA-GCNは4つのSemEvalベンチマークデータセットで最先端の性能を達成した：14Restでは86.16%の正確度と80.54%のマクロ-F1、14Lapでは80.31%の正確度と76.99%のマクロ-F1、15Restでは84.18%の正確度と69.42%のマクロ-F1、16Restでは91.41%の正確度と80.39%のマクロ-F1を達成した。
• アブレーションスタディの結果、上位k個選択モジュールを削除すると、すべてのデータセットで正確度とマクロ-F1が低下し、ノイズのフィルタリングにおけるその役割が確認された。
• ヘッド独立選択がヘッド従属選択を上回り、注意ヘッド間の合意を集約することで、一貫性のない選択によるノイズを低減した。
• 文の長さ分析の結果、SA-GCNはすべての長さ範囲で標準GCNよりも高い正確度を維持しており、特に長い文ではより顕著な向上が見られた。これは、長距離依存モデリングにおける有効性を裏付けた。
• 意見語抽出と共同で学習させることで、感情分類と意見語抽出の両方の性能が向上し、SA-GCNはすべてのデータセットでベースラインのIOGとASTEを上回った。