[論文レビュー] Learn from Syntax: Improving Pair-wise Aspect and Opinion Terms Extractionwith Rich Syntactic Knowledge

Shengqiong Wu, Hao Fei+3 more|arXiv (Cornell University)|May 6, 2021

Topic Modeling参考文献 27被引用数 8

ひとこと要約

本稿では、依存構造のエッジ、ラベル、品詞タグといった豊富な句構造特徴を統合するため、ラベルに注意を払うグラフ畳み込みネットワーク（LAGCN）とローカルアテンションモジュールを用いた構文拡張モデルを提案する。高次ペアリングを実現するためのトライアフィンスコアラーを採用し、構文に配慮した表現を再利用することで、4つのベンチマークデータセットで最先端の性能を達成するとともに、明示的な構文モデリングにより説明可能な予測を可能にする。

ABSTRACT

In this paper, we propose to enhance the pair-wise aspect and opinion terms extraction (PAOTE) task by incorporating rich syntactic knowledge. We first build a syntax fusion encoder for encoding syntactic features, including a label-aware graph convolutional network (LAGCN) for modeling the dependency edges and labels, as well as the POS tags unifiedly, and a local-attention module encoding POS tags for better term boundary detection. During pairing, we then adopt Biaffine and Triaffine scoring for high-order aspect-opinion term pairing, in the meantime re-harnessing the syntax-enriched representations in LAGCN for syntactic-aware scoring. Experimental results on four benchmark datasets demonstrate that our model outperforms current state-of-the-art baselines, meanwhile yielding explainable predictions with syntactic knowledge.

研究の動機と目的

• 従来のPAOTEモデルが依存ラベルや品詞タグといった豊富な構文特徴を無視するという限界を是正すること。
• ローカルアテンション機構による品詞タグ特徴のモデリングにより、語の境界検出を改善すること。
• 一次スコアリング手法で未活用されている長距離の構文的依存関係や重複ペア構造を捉えること。
• トライアフィンスコアラーによる高次相互作用を活用し、構文に配慮した表現を再利用することで、語のペアリングを強化すること。
• 言語的・構文的知識を統合することで、より正確で説明可能なアスペクト・意見ペア予測を実現すること。

提案手法

• 依存エッジ、依存ラベル、品詞タグを統合的にモデル化するラベルに注意を払うグラフ畳み込みネットワーク（LAGCN）を用いた構文統合エンコーダ（SynFue）を提案する。
• ローカルアテンションモジュールは品詞タグを符号化し、局所的な構文的文脈を捉えることで、語の境界検出を向上させる。
• 高次ペアリングのためのトライアフィンスコアラーを採用し、重複ペア構造内の三重関係や相互作用を捉える。
• スコアリング段階でLAGCNから得た構文に配慮した表現を再利用し、構文に配慮した語のペアリングを実現することで、意味的整合性を向上させる。
• 語抽出とペアリングの両方を最適化する損失関数を用いて、エンドツーエンドのPAOTEのための共同学習フレームワークを統合する。
• 重み係数η₁とη₂といったハイパーパrameterは、トライアフィンスコアラーと構文に配慮したスコアリングヘッドの寄与度をバランスさせるために調整される。

実験結果

リサーチクエスチョン

• RQ1 依存ラベルと品詞タグを統合的な構文エンコーダに統合することで、アスペクト・意見語抽出の精度が向上するか？
• RQ2 ローカルアテンション機構による品詞タグのモデリングは、PAOTEにおける語境界検出にどのように影響するか？
• RQ3 トライアフィン機構による高次スコアリングは、アスペクト・意見ペアにおける重複ペア構造や相互依存関係をどの程度捉えることができるか？
• RQ4 LAGCNから得た構文に配慮した表現をスコアリング段階で再利用することで、より正確で説明可能な予測が得られるか？
• RQ5 例えばLAGCNの層数といったアーキテクチャの選択が、モデルの性能と一般化能力にどのように影響するか？

主な発見

• 本モデルは、4つのベンチマークデータセットにおいてPAOTEで最先端の性能を達成し、現在のSOTA手法を上回る。
• 最適な設定ではη₁ = 0.4かつη₂ = 1.0となり、トライアフィンスコアラー単体よりも構文に配慮した表現の寄与度が顕著に高いことが示された。
• 2層のLAGCNが最良の性能を示し、深層ネットワークが冗長性や過学習を引き起こす可能性があることが示唆された。
• 定性的な分析から、LAGCNが依存ラベル（例：'nsubj'、'conj'）と品詞タグ（例：'JJ'、'NN'）の間で意味のある相関関係を効果的に学習していることが確認され、言語的直感と整合的である。
• トライアフィンスコアラーによる高次相互作用を活用することで、重複アスペクト・意見ペアの捉えが向上した。
• 豊富な構文知識の統合により、注意重みが既知の構文パターンと一致するなど、より説明可能な予測が得られた。