[論文レビュー] Unsupervised Word and Dependency Path Embeddings for Aspect Term Extraction

Yichun Yin, Furu Wei+4 more|arXiv (Cornell University)|May 25, 2016

Advanced Text Analysis Techniques被引用数 82

ひとこと要約

本稿では、分散表現および従属パス埋め込みを用いた教師なしのアスペクト語抽出手法を提案する。文法的関係を目的関数 w₁ + r ≈ w₂ を用いてモデル化し、RNNで学習されたパス表現を用いる。CRFモデルにおいて、単語レベルの表現を超えて構文的構造がアスペクト語抽出に顕著に寄与することを示し、単に埋め込みベースの特徴のみを用いても最先端の性能を達成した。

ABSTRACT

In this paper, we develop a novel approach to aspect term extraction based on unsupervised learning of distributed representations of words and dependency paths. The basic idea is to connect two words (w1 and w2) with the dependency path (r) between them in the embedding space. Specifically, our method optimizes the objective w1 + r = w2 in the low-dimensional space, where the multi-hop dependency paths are treated as a sequence of grammatical relations and modeled by a recurrent neural network. Then, we design the embedding features that consider linear context and dependency context information, for the conditional random field (CRF) based aspect term extraction. Experimental results on the SemEval datasets show that, (1) with only embedding features, we can achieve state-of-the-art results; (2) our embedding method which incorporates the syntactic information among words yields better performance than other representative ones in aspect term extraction.

研究の動機と目的

• 教師なし表現学習を用いて構文的構造を統合することで、アスペクト語抽出を改善すること。
• RNNを用いて文法的関係の系列として複数ホップの従属パスをモデル化し、より良い単語表現を得ること。
• 線形文脈、従属文脈、および単語埋め込みを含む埋め込みベースの特徴を設計し、CRFに基づく系列ラベル付けに用いること。
• 手作業の特徴や外部知識に依存せず、単に教師なし埋め込みのみを用いてもトップのシステムと同等の性能を達成すること。
• 構文に配慮した埋め込みが、標準的な単語埋め込みよりもアスペクト語抽出で優れていることを検証すること。

提案手法

• 本手法は、低次元空間において目的関数 w₁ + r ≈ w₂ を最適化する。ここで w₁ と w₂ は単語埋め込み、r は従属パスを表す。
• 従属パスは文法的関係の系列としてモデル化され、再帰ニューラルネットワーク（RNN）を用いて埋め込み化される。
• 線形文脈情報とのマルチタスク学習により、単語埋め込みが向上する。
• 連続的埋め込みが離散化され、CRFモデルに適した形に変換される。
• 特徴工学は、ターゲット単語の埋め込み、線形文脈埋め込み、従属文脈埋め込みを統合してCRFの入力に用いる。
• 最終的なモデルは、手作業のルールや外部知識に依存せず、これらの学習済み埋め込みのみを特徴として使用する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータを用いても、教師なし単語および従属パス埋め込みがアスペクト語抽出の性能を向上させられるか？
• RQ2 w₁ + r ≈ w₂ 目的関数が、アスペクト語検出における構文的関係をどれほど的確に捉えられるか？
• RQ3 複数ホップの従属パス表現を統合することで、単語のみの埋め込みよりも性能が向上するか？
• RQ4 CRFモデルが、学習済み埋め込み特徴のみを用いても最先端の結果を達成できるか？
• RQ5 構文的構造と文脈情報が、アスペクト語と非アスペクト語を区別するためにどのように協調的に寄与するか？

主な発見

• 提案手法は、埋め込みベースの特徴のみを用いて、SemEval 2014 データセットで79.23のF1スコアを達成し、最先端の性能を示した。
• WDEmbモデル（単語および従属パス埋め込みを有する）は、ベースラインのDepEmbよりも1.46 F1ポイント優れていた（p < 0.05）。
• 区間数 l=15 および埋め込み次元 d=100 で性能がピークに達し、精度と学習効率のバランスが取れていた。
• 定性的分析により、学習済み埋め込みが構文的およびトピック的類似性を捉えていることが確認された。赤と青のハイライトは、機能的およびトピック的に不一致な単語を示している。
• 同じ線形文脈を持つが異なる文法的役割を持つアスペクト語において、性能が顕著に向上した。これにより、構文的構造の価値が裏付けられた。
• 離散化された埋め込みはCRFモデルに対して効果的であり、手作業の特徴に依存せず、競争力のある結果が得られた。