[論文レビュー] Improving Aspect Term Extraction with Bidirectional Dependency Tree Representation

Huaishao Luo, Tianrui Li+3 more|arXiv (Cornell University)|May 21, 2018

Sentiment Analysis and Opinion Mining参考文献 63被引用数 11

ひとこと要約

本稿では、下流および上流の構文的伝搬を捉える双向性依存木表現をモデル化することで、アスペクト語抽出を向上させるエンドツーエンドのディープラーニングフレームワーク、BiDTreeCRFを提案する。BiLSTMとCRFを組み合わせることで、連続的および木構造的特徴の共同学習を実現する。本モデルは、手動で作成された言語的特徴を一切使用せず、4つのSemEvalベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Aspect term extraction is one of the important subtasks in aspect-based sentiment analysis. Previous studies have shown that using dependency tree structure representation is promising for this task. However, most dependency tree structures involve only one directional propagation on the dependency tree. In this paper, we first propose a novel bidirectional dependency tree network to extract dependency structure features from the given sentences. The key idea is to explicitly incorporate both representations gained separately from the bottom-up and top-down propagation on the given dependency syntactic tree. An end-to-end framework is then developed to integrate the embedded representations and BiLSTM plus CRF to learn both tree-structured and sequential features to solve the aspect term extraction problem. Experimental results demonstrate that the proposed model outperforms state-of-the-art baseline models on four benchmark SemEval datasets.

研究の動機と目的

• 従来のアスペクト語抽出モデルにおける一方向の依存木伝搬の限界を解決すること。
• 依存木内の下流および上流の依存パス情報を明示的にモデル化することで、構文的特徴表現を向上させること。
• 手動で作成された言語的特徴に依存せずに、木構造的および順序的特徴を統合するエンドツーエンドフレームワークを開発すること。
• 深層順序モデルと双向性構文情報を統合することで、アスペクト語抽出ベンチマークで優れた性能を達成すること。

提案手法

• BiLSTMにインspiredされたゲート制御機構を用いて、依存木上で下流および上流の別々の伝搬を実行する双向性依存木ネットワーク（BiDTree）を提案する。
• 共有語埋め込みを用い、双方向パス伝搬を通じて木構造的表現を学習し、長距離の構文的依存関係を捉える。
• 得られた木構造的表現とBiLSTMからの順序的表現を統合し、文脈特徴を豊かにする。
• 融合表現の上流にCRF層を設け、ラベル依存性をモデル化し、アスペクト語抽出のためのシーケンスラベリングを実行する。
• 語埋め込み、木表現、CRFデコードを同時に最適化するエンドツーエンドの学習フレームワークを設計し、外部の言語的特徴を一切使用しない。
• 下流および上流パス間の重み共有の違いによるモデルの3つのバリエーションを評価し、双方向モデリングの有効性を示す。

実験結果

リサーチクエスチョン

• RQ1 一方向手法と比較して、双方向依存木伝搬はアスペクト語抽出性能を向上させ得るか？
• RQ2 木構造的構文的特徴と順序的表現を組み合わせることで、ATE性能にどのような影響を与えるか？
• RQ3 提案されたエンドツーエンドモデルは、ベンチマークデータセットで既存の最先端モデルをどの程度上回るか？
• RQ4 POSや依存パステンプレートなどの手動で作成された言語的特徴に依存しない状態でも、モデルは優れた性能を維持できるか？

主な発見

• 提案されたBiDTreeCRFモデルは、4つのSemEvalベンチマークデータセットにおけるアスペクト語抽出で最先端の性能を達成する。
• 下流および上流パスに別個の重み学習を適用するバリエーションが最も高い性能を示し、双方向モデリングが補完的な構文的情報を捉えていることを示している。
• CRFを用いた手動特徴や2段階学習パイプラインを用いる既存の最先端ベースラインをすべて上回る性能を発揮する。
• アブレーションスタディにより、下流および上流の両方の伝搬がモデルの性能に顕著に寄与していることが確認され、双方向設計の有効性が裏付けられる。
• 追加の言語的特徴がなくても効果的であるため、学習された構文的表現の頑健性が示された。
• BiLSTMとCRFによる木構造的および順序的特徴の統合は、単独で使用する場合よりも優れたラベリング精度を達成する。