[論文レビュー] Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks

Binxuan Huang, Kathleen M. Carley|arXiv (Cornell University)|Sep 5, 2019

Sentiment Analysis and Opinion Mining参考文献 30被引用数 11

ひとこと要約

本稿では、単語系列の代わりに構文的依存関係グラフを用いて、アスペクトレベルのセンチメント分類をモデル化する、ターゲット依存型グラフアテンションネットワーク（TD-GAT）を提案する。依存関係を通じてセンチメント特徴を伝搬させることで、特にBERT埋め込みと組み合わせた場合、系列ベースのモデルを上回る性能を発揮するが、直接BERTを微調整するのと比べて軽量かつ効率的である。

ABSTRACT

Aspect level sentiment classification aims to identify the sentiment expressed towards an aspect given a context sentence. Previous neural network based methods largely ignore the syntax structure in one sentence. In this paper, we propose a novel target-dependent graph attention network (TD-GAT) for aspect level sentiment classification, which explicitly utilizes the dependency relationship among words. Using the dependency graph, it propagates sentiment features directly from the syntactic context of an aspect target. In our experiments, we show our method outperforms multiple baselines with GloVe embeddings. We also demonstrate that using BERT representations further substantially boosts the performance.

研究の動機と目的

• アスペクトレベルのセンチメント分類において、系列ベースのニューラルネットワークが構文的関係を捉えることの制限を解消すること。
• アスペクトターゲットとセンチメントを含む語との間の依存構造を明示的にモデル化することで、センチメント分類の精度を向上させること。
• BERTの微調整と比較して計算コストを削減するため、BERT表現の軽量なグラフベースの適応手法を用いること。
• 構文的構造が、曖昧な場合や長距離のセンチメント依存関係において性能を向上させることを示すこと。

提案手法

• モデルは入力文から依存関係グラフを構築し、語をノード、構文的関係をエッジとする。
• マルチレイヤーのグラフアテンションネットワーク（GAT）が、構文的近傍ノードからアスペクトターゲットノードへセンチメント特徴を伝搬する。
• ターゲット依存型アテンションメカニズムにより、メッセージ伝搬中に関連する構文的近傍ノードに焦点を当て、アスペクト固有の表現を強化する。
• 再帰的な近傍拡張の過程で階層的なアスペクト関連特徴を捉えるために、レイヤー間でLSTMユニットを統合する。
• モデルはGloVe埋め込みとBERT表現を入力とし、BERT入力には線形投影層を適用する。
• 最終的な分類は、アスペクトターゲットノードのプールド表現に対してソフトマックス層を用いて実行する。

実験結果

リサーチクエスチョン

• RQ1 構文的依存関係構造をモデル化することで、系列ベースのモデルを上回るアスペクトレベルのセンチメント分類が可能になるか？
• RQ2 依存関係グラフにグラフアテンションメカニズムを適用することで、アスペクトセンチメント分類の性能にどのような影響を与えるか？
• RQ3 軽量なグラフベースのモデルにBERT表現を組み込むことで、標準的なBERT微調整とベースラインニューラルネットワークの両方を上回る性能が得られるか？
• RQ4 異なる語の表現を用いた場合、モデルの深さ（レイヤー数）の変化に対してどれほど頑健か？
• RQ5 完全なBERT微調整と比較して、モデルサイズと学習時間を著しく削減しながらも、高い性能を維持できるか？

主な発見

• TD-GAT-GloVeは、SemEval 2014のラップトップおよびレストランデータセットの両方で、複数の強力なベースラインを上回り、レストランデータセットで82.9%のF1を達成した。
• TD-GAT-BERTは、レストランデータセットで83.0%のF1を達成し、最先端の性能を発揮した。
• GloVeを用いた場合、3層以上で最適な性能に達するが、BERTベースのモデルは1層でも有効に機能した。
• TD-GAT-BERTのモデルサイズはたったの149万パラメータであり、完全なBERT-CLSモデルの3億5,140万パラメータと比べてはるかに小さかった。
• TD-GAT-BERTの1エポックあたりの学習時間は1.15秒であり、BERTの微調整に比べて226.50秒と著しく短縮された。
• アブレーションスタディの結果、明示的なターゲット情報とグラフベースのメッセージ伝搬が、特に構文的曖昧性の解消において性能に不可欠であることが確認された。