[論文レビュー] A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis

Yunlong Liang, Fandong Meng+4 more|arXiv (Cornell University)|Apr 4, 2020

Sentiment Analysis and Opinion Mining参考文献 63被引用数 8

ひとこと要約

本稿では、エンドツーエンドのアスペクトベースセンチメント分析（ABSA）のための、マルチタスク学習を用いた依存構文知識拡張インタラクティブアーキテクチャを提案する。依存関係埋め込み型グラフ畳み込みネットワーク（DreGcn）を導入し、構文的関係およびその種別を十分に活用することで、3つのベンチマークデータセットにおいて最先端の手法を著しく上回り、BERTを組み合わせることでさらなる性能向上を達成する。

ABSTRACT

The aspect-based sentiment analysis (ABSA) task remains to be a long-standing challenge, which aims to extract the aspect term and then identify its sentiment orientation.In previous approaches, the explicit syntactic structure of a sentence, which reflects the syntax properties of natural language and hence is intuitively crucial for aspect term extraction and sentiment recognition, is typically neglected or insufficiently modeled. In this paper, we thus propose a novel dependency syntactic knowledge augmented interactive architecture with multi-task learning for end-to-end ABSA. This model is capable of fully exploiting the syntactic knowledge (dependency relations and types) by leveraging a well-designed Dependency Relation Embedded Graph Convolutional Network (DreGcn). Additionally, we design a simple yet effective message-passing mechanism to ensure that our model learns from multiple related tasks in a multi-task learning framework. Extensive experimental results on three benchmark datasets demonstrate the effectiveness of our approach, which significantly outperforms existing state-of-the-art methods. Besides, we achieve further improvements by using BERT as an additional feature extractor.

研究の動機と目的

• 既存のABSAモデルが構文的構造、特に依存関係およびその種別を効果的にモデル化できないという限界を是正すること。
• 複数の関連タスクから同時に学習することで、アスペクト語抽出とアスペクトレベルのセンチメント分類の両方を向上させること。
• より豊かな構文的表現を実現するために、依存関係の種別を明示的に符号化するグラフニューラルネットワークを設計すること。
• マルチタスク学習フレームワーク内での効果的なメッセージ伝達メカニズムを用いて、性能を向上させること。
• BERTからの文脈特徴と構文的知識を統合することで、標準的なABSAベンチマークで最先端の結果を達成すること。

提案手法

• 文のグラフ表現におけるエッジ特徴として、依存関係およびその種別をモデル化する依存関係埋め込み型グラフ畳み込みネットワーク（DreGcn）を提案する。
• 単語をノードとし、依存関係（種別付き）を有向エッジとする依存関係グラフを構築し、構造的なメッセージ伝達を可能にする。
• 共有表現を用いてアスペクト語抽出とセンチメント分類を同時に最適化するマルチタスク学習フレームワークを導入する。
• タスク間の知識移行を可能にするメッセージ伝達メカニズムを設計し、関連タスク間での表現学習を向上させる。
• 文脈表現を豊かにするために、BERTを追加の特徴抽出器として統合し、性能をさらに向上させる。
• 統一されたタグ付け方式を用いて、エンドツーエンドのABSAタスクを、アスペクトとセンチメントの同時予測としての系列ラベル付け問題に定式化する。

実験結果

リサーチクエスチョン

• RQ1 依存関係の種別を明示的にモデル化することで、アスペクトベースセンチメント分析の性能が向上するか？
• RQ2 構文的知識を統合したマルチタスク学習は、アスペクト語抽出とセンチメント分類の両方をどのように向上させるか？
• RQ3 依存関係の種別を符号化するグラフ畳み込みネットワークは、通常のGCNを上回る性能を発揮するか？
• RQ4 BERTの表現を統合することで、構文拡張型ABSAモデルの性能はどの程度向上するか？
• RQ5 提案されたメッセージ伝達メカニズムは、アスペクト抽出とセンチメント分類のタスク間で知識を効果的に転送するか？

主な発見

• 提案されたDreGcnモデルは、3つのベンチマークABSAデータセットにおいて、既存の最先端手法を著しく上回り、新たなSOTA結果を達成した。
• モデルは、そのグラフ畳み込みアーキテクチャにより、依存関係の種別を十分に活用することで優れた性能を発揮した。
• 提案されたメッセージ伝達メカニズムを備えたマルチタスク学習フレームワークにより、アスペクト抽出とセンチメント分類の間での効果的な知識移行が実現された。
• BERTを追加の特徴抽出器として統合することで、すべてのデータセットでさらなる性能向上が達成された。
• アブレーションスタディにより、依存関係の種別およびメッセージ伝達メカニズムの有効性が確認された。
• ケーススタディにより、モデルが複雑な構文的依存関係（例：意見語とアスペクト語を結ぶハイプ・ホップ関係）を正しく捉えていることが示された。