[論文レビュー] Double Embeddings and CNN-based Sequence Labeling for Aspect Extraction

Hu Xu, Bing Liu+2 more|arXiv (Cornell University)|May 11, 2018

Sentiment Analysis and Opinion Mining参考文献 38被引用数 53

ひとこと要約

DE-CNN は新しいダブル埋め込みアプローチ（一般的とドメイン固有）を用い、シーケンスラベリングには純粋な CNN を使用して製品のアスペクトを抽出し、追加の監視なしで最先端の結果を達成します。

ABSTRACT

One key task of fine-grained sentiment analysis of product reviews is to extract product aspects or features that users have expressed opinions on. This paper focuses on supervised aspect extraction using deep learning. Unlike other highly sophisticated supervised deep learning models, this paper proposes a novel and yet simple CNN model employing two types of pre-trained embeddings for aspect extraction: general-purpose embeddings and domain-specific embeddings. Without using any additional supervision, this model achieves surprisingly good results, outperforming state-of-the-art sophisticated existing methods. To our knowledge, this paper is the first to report such double embeddings based CNN model for aspect extraction and achieve very good results.

研究の動機と目的

• 製品のアスペクトを正確に抽出することによって、細粒度感情分析の動機づけを行う。
• シンプルでありながら効果的な CNN ベースのシーケンスラベリングモデルを提案する。
• 一般的な埋め込みとドメイン固有の埋め込みを組み合わせると性能が向上することを示す。
• 手作りの特徴量や追加の監視なしで競争力のある結果を示す。

提案手法

• 単語ごとに二つの固定（学習されない）埋め込みを結合する：一般的な GloVe とドメイン固有の fastText 埋め込み。
• 適切に選択されたカーネルサイズを用いた4層の CNN スタックを適用し、シーケンスラベリングのための単語揃え表現を生成する。
• 共有の全結合層とソフトマックス分類器を用いて、各位置の B/I/O ラベルを予測する。
• 位置合わせを保持するために最大プーリングを避け、埋め込みと活性化の後にドロップアウトを適用する。
• ラベリング依存性への影響を評価するために、CRF 層と比較することもある。

実験結果

リサーチクエスチョン

• RQ1 二重埋め込みを用いた CNN ベースのモデルは、追加の監視なしで細粒度のアスペクト情報を十分に捉えられるか？
• RQ2 ドメイン内埋め込みと一般埋め込みはアスペクト抽出の性能にどう影響するか？
• RQ3 アスペクト抽出タスクにおけるシーケンスラベリングで最大プーリングは不利か？
• RQ4 この設定で CRF 層は純粋なソフトマックスより追加の利得を提供するか？

主な発見

モデル	ラップトップ	レストラン
CRF	74.01	69.56
IHS_RD	74.55	-
NLANGP	-	72.34
WDEmb	75.16	-
LSTM	75.25	71.26
BiLSTM-CNN-CRF	77.80	72.50
RNCRF	78.42	-
CMLA	77.80	-
MIN	77.58	73.44
GloVe-CNN	77.67	72.08
Domain-CNN	78.12	71.75
MaxPool-DE-CNN	77.45	71.12
DE-LSTM	78.73	72.94
DE-OOD-CNN	80.21	74.20
DE-Google-CNN	78.80	72.10
DE-CNN-CRF	80.80	74.10
DE-CNN	81.59*	74.37*

• DE-CNN は、列挙されたベースラインと比較して SemEval の laptop および restaurant データセットで最高の F1 スコアを達成する。
• 一般的な埋め込みとドメイン埋め込みの両方を使用することで、どちらか一方だけを使用するより性能が向上する。
• ドメイン内埋め込みは特に laptop ドメインで有益であり、ドメイン固有のアスペクトが頻繁に出現する。
• このタスクでは最大プーリングがシーケンスラベリングの性能を低下させる。
• CRF 層は限定的な利得しかなく、ドメインを跨いで一貫して有利とは言えない。