[論文レビュー] Aspect-based Opinion Summarization with Convolutional Neural Networks

Haibing Wu, Yiwei Gu+2 more|arXiv (Cornell University)|Nov 30, 2015

Sentiment Analysis and Opinion Mining参考文献 42被引用数 7

ひとこと要約

本稿では、段階的およびマルチタスクCNNアーキテクチャを用いて、レビュー文を事前に定義された側面にマッピングし、感情分析を行うCNNベースの手法を提案している。マルチタスクCNNはSVMベースの手法や段階的CNNを上回り、製品レビューにおける側面抽出および感情分類の性能が優れていることが示された。

ABSTRACT

This paper considers Aspect-based Opinion Summarization (AOS) of reviews on particular products. To enable real applications, an AOS system needs to address two core subtasks, aspect extraction and sentiment classification. Most existing approaches to aspect extraction, which use linguistic analysis or topic modeling, are general across different products but not precise enough or suitable for particular products. Instead we take a less general but more precise scheme, directly mapping each review sentence into pre-defined aspects. To tackle aspect mapping and sentiment classification, we propose two Convolutional Neural Network (CNN) based methods, cascaded CNN and multitask CNN. Cascaded CNN contains two levels of convolutional networks. Multiple CNNs at level 1 deal with aspect mapping task, and a single CNN at level 2 deals with sentiment classification. Multitask CNN also contains multiple aspect CNNs and a sentiment CNN, but different networks share the same word embeddings. Experimental results indicate that both cascaded and multitask CNNs outperform SVM-based methods by large margins. Multitask CNN generally performs better than cascaded CNN.

研究の動機と目的

• 製品固有の正確性を高めるために、レビュー文を事前に定義された側面に直接マッピングすることで、特定製品における精度を向上させること。
• トピックモデリングや言語的分析などの汎用的側面抽出手法の限界、特に製品固有の正確性に欠ける点を是正すること。
• 側面マッピングと感情分類を同時にまたは逐次的に処理する深層学習モデルを開発し、要約の質を向上させること。
• 実世界の製品レビューデータに対して、段階的およびマルチタスクのCNNアーキテクチャの有効性を評価すること。

提案手法

• 段階的CNNは2段階構造を採用：第1段階で複数のCNNを用いて側面マッピングを行い、第2段階で1つのCNNを用いて感情分類を実行する。
• マルチタスクCNNは、複数の側面固有のCNNと感情CNNの間で単語埋め込みを共有することで、パラメータ共有と一般化性能の向上を実現する。
• 側面マッピングは、各文が1つ以上の事前に定義された側面に割り当てられる多クラス分類タスクとして定式化される。
• 感情分類は、最終的な全結合層にソフトマックス活性化関数を用いて実行され、感情極性（例：ポジティブ、ネガティブ、ニュートラル）を予測する。
• 単語埋め込みは、トレーニング中にエンドツーエンドで学習され、マルチタスク設定ではタスク間で共有され、特徴表現の向上が図られる。
• モデルは、ラベル付きレビューデータ上でミニバッチ確率的勾配降下法を用い、交差エントロピー損失関数でトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 深層学習アプローチは、従来のSVMベースの手法を上回る性能を示せるか？
• RQ2 側面および感情ネットワーク間で単語埋め込みを共有することで、マルチタスク学習における性能が向上するか？
• RQ3 段階的CNNアーキテクチャは、マルチタスクCNNに比べて、側面抽出および感情分類においてより効果的か？
• RQ4 CNNベースのモデルを用いて、生のレビュー文から事前に定義された側面をどれほど正確に予測できるか？

主な発見

• マルチタスクCNNは、すべての評価指標において段階的CNNを上回り、共有表現の利点が示された。
• 両方のCNNベースのモデルは、側面抽出および感情分類のタスクで、SVMベースのベースラインを著しく上回った。
• マルチタスクCNNは、側面検出において最高のF1スコアを達成し、一般化性能とロバストネスの向上が確認された。
• 段階的CNNは高い性能を示したが、特にリソースが限られた側面の状況では、マルチタスクバージョンに比べて劣っていた。
• マルチタスクモデルにおける共有単語埋め込みの使用は、より良い特徴学習と過学習の低減に寄与した。