[論文レビュー] Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis

Qihuang Zhong, Liang Ding+4 more|arXiv (Cornell University)|Jan 13, 2022

Sentiment Analysis and Opinion Mining被引用数 9

ひとこと要約

本稿では、階層的統合モジュールを用いて文脈、構文、外部知識からマルチビュー表現を学習することで、感情分析のための知識グラフ拡張ネットワークであるKGANを提案する。注意メカニズムとブランチ間のパラメータ共有を統合することで、RoBERTaを用いた新しいSOTA結果を達成するなど、5つのABSAベンチマークで最先端の性能を示し、効率性と頑健性が向上した。

ABSTRACT

Aspect-based sentiment analysis (ABSA) is a fine-grained task of sentiment analysis. To better comprehend long complicated sentences and obtain accurate aspect-specific information, linguistic and commonsense knowledge are generally required in this task. However, most current methods employ complicated and inefficient approaches to incorporate external knowledge, e.g., directly searching the graph nodes. Additionally, the complementarity between external knowledge and linguistic information has not been thoroughly studied. To this end, we propose a knowledge graph augmented network KGAN, which aims to effectively incorporate external knowledge with explicitly syntactic and contextual information. In particular, KGAN captures the sentiment feature representations from multiple different perspectives, i.e., context-, syntax- and knowledge-based. First, KGAN learns the contextual and syntactic representations in parallel to fully extract the semantic features. Then, KGAN integrates the knowledge graphs into the embedding space, based on which the aspect-specific knowledge representations are further obtained via an attention mechanism. Last, we propose a hierarchical fusion module to complement these multi-view representations in a local-to-global manner. Extensive experiments on five popular ABSA benchmarks demonstrate the effectiveness and robustness of our KGAN. Notably, with the help of the pretrained model of RoBERTa, KGAN achieves a new record of state-of-the-art performance among all datasets.

研究の動機と目的

• 既存のABSAモデルが外部の言語的および一般常識的知識を効果的かつ効率的に統合する点での限界を解消すること。
• 文脈的、構文的、知識ベースの表現の相補性が感情分類に与える影響を調査すること。
• 複雑な部分グラフ構築を必要とせず、高い性能を維持する軽量でパラメータ効率の良いアーキテクチャを設計すること。
• ノイズの多い知識入力下でのモデルの頑健性を評価し、遅延およびモデルサイズの観点から効率性を測定すること。

提案手法

• KGANは、同じ入力を用いて文脈的、構文的、知識ベースの表現を抽出する3つの並列ブランチを採用する。
• 文脈的および構文的表現は共有されたBiLSTMを用いて抽出され、アテンションメカニズムにより特定のアスペクトに焦点を当てる。
• 外部知識は事前学習済みの知識グラフ埋め込み（KGE）を介して統合され、複雑な部分グラフ構築を回避する。
• アスペクト固有の知識表現は、知識埋め込みにソフトアテンション機構を適用することで得られる。
• 局所的からグローバルな順序でマルチビュー表現を統合する階層的統合モジュールにより、特徴の相補性が強化される。
• 文脈と構文のブランチ間でのパラメータ共有により、モデルサイズと推論遅延が削減されつつ、性能は維持される。

実験結果

リサーチクエスチョン

• RQ1 計算コストの高い部分グラフ構築に依存せずに、外部知識をABSAモデルに効率的に統合する方法は何か？
• RQ2 文脈的、構文的、知識ベースの表現の間には、どの程度の相補性があるか？
• RQ3 マルチビュー表現学習フレームワークは、低遅延および小規模モデルサイズを維持しつつ、より高い性能を達成できるか？
• RQ4 実世界の状況におけるノイズや損傷を受ける知識埋め込みに対して、提案されたモデルはどの程度の頑健性を示すか？
• RQ5 外部知識の統合は正則化として機能するのか、それとも高品質な知識が必要とされるのか？

主な発見

• KGANは、5つの標準ABSAベンチマークすべてで新たなSOTA性能を達成し、ATAE-LSTMに比べてマクロ-F1が+10.87%向上した。
• 強化された性能にもかかわらず、最近のSOTAモデル（R-GAT や DM-GCN）と同等またはより低い推論遅延を維持した。
• ブランチ間のパラメータ共有のおかげで、KGANのモデルサイズは3.62Mパラメータと非常に小さく、DM-GCN（8.80M）よりも顕著に小さい。
• 知識埋め込みに低～中程度のノイズ（最大5%まで）が加えられても、KGANは頑健性を示し、ノイズが20%に達するまで性能劣化は顕著に現れない。
• 除去実験により、文脈的、構文的、知識ベースの3つの視点が互いに相補的であることが確認され、それぞれが最終的な性能向上に独自の貢献をしている。
• 事前学習済みの知識グラフ埋め込み（KGE）の使用は、部分グラフベースの手法よりも効果的かつ効率的であることが判明し、特に複数のアスペクト用語を扱う場面で顕著である。