[論文レビュー] Recursive Neural Conditional Random Fields for Aspect-based Sentiment Analysis

Wenya Wang, Sinno Jialin Pan+2 more|arXiv (Cornell University)|Mar 22, 2016

Sentiment Analysis and Opinion Mining参考文献 39被引用数 57

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）と条件付きランダムフィールド（CRF）を統合した共同モデルである再帰的ニューラル条件付きランダムフィールド（RNCRF）を提案する。このモデルは、テキストから明示的な特徴と意見語を同時に抽出することを目的としており、従属木構造を活用して高レベルの相互作用を持つ表現を学習し、特徴語と意見語の間で二重の情報伝播を可能にしている。RNCRFは、SemEval 2014 タスク4データセットにおいて、ルールベースおよび特徴工学ベースのベースライン、さらには優勝チャレンジシステムをも凌駕する最先端の性能を達成した。

ABSTRACT

In aspect-based sentiment analysis, extracting aspect terms along with the opinions being expressed from user-generated content is one of the most important subtasks. Previous studies have shown that exploiting connections between aspect and opinion terms is promising for this task. In this paper, we propose a novel joint model that integrates recursive neural networks and conditional random fields into a unified framework for explicit aspect and opinion terms co-extraction. The proposed model learns high-level discriminative features and double propagate information between aspect and opinion terms, simultaneously. Moreover, it is flexible to incorporate hand-crafted features into the proposed model to further boost its information extraction performance. Experimental results on the SemEval Challenge 2014 dataset show the superiority of our proposed model over several baseline methods as well as the winning systems of the challenge.

研究の動機と目的

• 品詞制約や線形特徴結合に大きく依存するルールベースおよび手作業特徴手法の限界を解消すること。
• 構造的従属解析を用いて、特徴語と意見語の間の高次の相互作用を捉える共同モデルを開発すること。
• 特徴語と意見語抽出を同時に最適化する判別的表現をエンドツーエンドで学習すること。
• 手作業による特徴工学に依存することを減らし、深層表現学習によって性能を向上させること。

提案手法

• 各単語の高レベルで文脈に配慮した表現を学習するために、従属木に基づく再帰的ニューラルネットワーク（RNN）を用いる。これにより、特徴語と意見語の間の構文的および意味的関係を捉える。
• RNNの出力を条件付きランダムフィールド（CRF）層に供給し、ラベル系列をモデル化し、系列ラベル付けタスクにおける長距離依存関係を保持する。
• バックプロパゲーションを用いた最尤推定により、エンドツーエンドでモデルを訓練し、CRFラベルからRNN表現への二重情報フローを可能にする。
• パーソナライズされた特徴（品詞タグ、固有表現リスト、センチメントリソース）の統合をサポートし、さらなる性能向上を図る。
• 再帰的構造により、単純な線形結合を超えた複雑な特徴語・意見語関係を非線形変換で捉えることができる。
• 特徴語と意見語のラベル付けを同時に訓練することで、相互監視を可能にし、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークとCRFを統合した共同モデルは、既存のルールベースおよび特徴工学ベースの手法を上回る性能を発揮できるか？
• RQ2 再帰的表現学習は、特徴語と意見語の間の構文的および意味的依存関係をどれほど効果的に捉えられるか？
• RQ3 センチメントリソースや固有表現リストといった手作業特徴は、共同モデルの性能をどの程度向上させるか？
• RQ4 バックプロパゲーションによるエンドツーエンド訓練と共同最適化は、分離的または線形特徴ベースのアプローチに比べて、一般化性能を向上させるか？
• RQ5 単語埋め込み次元数や入力表現の変化に対して、モデルはどの程度頑健か？

主な発見

• レストランドメインでは、特徴語抽出で84.05%のF1、意見語抽出で80.93%のF1を達成。最良のベースライン（CRF + word2vec）をそれぞれ1.48%、2.10%上回った。
• ラップトップドメインでは、特徴語抽出で76.83%のF1、意見語抽出で76.76%のF1を達成。SemEval 2014優勝システムを特徴語抽出で3.26%上回った。
• センチメントリソース特徴を追加したことで、意見語抽出のF1がベースラインRNCRFから4.10%向上し、リソースベースの特徴からの強力な信号が示された。
• 単語埋め込み次元数の変化に対してもモデルは頑健であり、25から400の範囲で安定した性能を示し、レストランドメインでは325次元でピークを記録した。
• 名前リスト特徴の統合が、特徴語抽出で最も高い向上をもたらし、特徴語識別に強い判別力があることが示された。
• 標準的なLSTMモデルに比べ、レストランドメインでは2.90%、ラップトップドメインでは4.10%の特徴語抽出F1向上を達成し、特徴語・意見語関係のモデリングにおいて優位性を示した。