[論文レビュー] Joint Aspect and Polarity Classification for Aspect-based Sentiment Analysis with End-to-End Neural Networks

Martin Schmitt, Simon Steinheber+1 more|arXiv (Cornell University)|Jan 1, 2018

Sentiment Analysis and Opinion Mining参考文献 9被引用数 8

ひとこと要約

本稿では、ドイツ語の感情分析（ABSA）におけるアスペクト検出とセンチメント極性分類を統合的に実行するエンド・ツー・エンドのニューラルネットワークを提案する。畳み込みニューラルネットワーク（CNN）と fasttext 単語埋め込みを組み合わせることで、共有タスクの優勝システムを上回る新たな最先端の性能を、統合学習とサブワードに敏感な表現を用いて達成した。

ABSTRACT

In this work, we propose a new model for aspect-based sentiment analysis. In contrast to previous approaches, we jointly model the detection of aspects and the classification of their polarity in an end-to-end trainable neural network. We conduct experiments with different neural architectures and word representations on the recent GermEval 2017 dataset. We were able to show considerable performance gains by using the joint modeling approach in all settings compared to pipeline approaches. The combination of a convolutional neural network and fasttext embeddings outperformed the best submission of the shared task in 2017, establishing a new state of the art.

研究の動機と目的

• 低リソースで屈曲語形を有する言語における ABSA の課題に取り組むために、エンド・ツー・エンドのフレームワーク内でアスペクト検出とセンチメント極性分類を統合的にモデル化すること。
• 特にドイツ語における未知語や希少な屈曲形に対応するため、fasttext 埋め込みによるサブワード情報の活用により性能を向上させること。
• アスペクト検出と極性分類を別々のタスクとして扱うパイプライン手法の制限を克服し、誤差伝搬を低減すること。
• 低リソース環境における ABSA 性能向上を目的として、ソーシャルメディア テキストを対象としたドメイン特化型事前学習の有効性を評価すること。

提案手法

• モデルは、生のテキスト入力を用いてアスペクトカテゴリとそのセンチメント極性を同時に予測できるエンド・ツー・エンドで学習可能なニューラルネットワークを採用する。
• 単語埋め込みは fasttext を用いて学習され、文字 n-gram を含むサブワード情報が組み込まれており、稀な語または未学習語の表現を向上させる。
• 3つのニューラルアーキテクチャ（双方向LSTM、CNN、およびハイブリッドCNN-LSTM）を評価し、CNNバージョンが優れた性能を示した。
• モデルは確率的勾配降下法で訓練され、CNN用の初期学習率は 0.03、LSTM用は 0.01、バッチサイズはそれぞれ 5 と 10 であった。
• ハイパーパrameterは開発セット上でランダムサーチにより調整され、アスペクト-極性ペアの F1 スコアを最適化するようにした。
• ドメイン特化型 fasttext 埋め込みは、ドイツ鉄道（Deutsche Bahn）を含む約 113,000 件のドイツ語ツイートを対象に学習され、ソーシャルメディア テキストでの性能向上に寄与した。

実験結果

リサーチクエスチョン

• RQ1 パイプライン手法よりも、アスペクト検出とセンチメント極性分類の統合的モデリングが、ABSA において性能向上をもたらすか？
• RQ2 ドイツ語のような屈曲語形を有する言語において、従来の word2vec や GloVe と比較して、サブワードに敏感な単語埋め込み（fasttext）はどのように性能を発揮するか？
• RQ3 Wikipedia や大規模で汎用的なコーパスとは異なり、ソーシャルメディア テキストに特化したドメインで学習された fasttext 埋め込みは、より優れた性能を発揮するか？
• RQ4 LSTM、CNN、ハイブリッドのうち、どのニューラルアーキテクチャが低リソース条件下での共同 ABSA において最も優れた性能を示すか？

主な発見

• エンド・ツー・エンドの統合的モデリングアプローチは、あらゆるアーキテクチャと埋め込みタイプにおいてパイプラインベースラインを著しく上回り、共有表現学習の利点を示した。
• fasttext 埋め込みを用いた CNN は、開発セットで F1 スコア 0.502、縦断的テストセットで 0.465 を達成し、最良の共有タスク提出物を上回った。
• fasttext 埋め込みは、常に word2vec や GloVe よりも優れた性能を示し、特にドイツ語における屈曲形の変化や希少語の処理において顕著であった。
• 113,000 件のツイートを対象に学習されたドメイン特化型 fasttext 埋め込みは、Wikipedia に基づく埋め込みと同等の性能を示し、このタスクではドメインの関連性がコーパスのサイズを上回ることを示した。
• CNN アーキテクチャは、LSTM やハイブリッドモデルを上回り、ノイズが多く不規則なソーシャルメディア テキストに対してより高い耐性を示した。
• アスペクトカテゴリ検出のみのタスクで 61.0% の F1 スコアを達成し、GermEval ベースラインおよび共有タスクの優勝システムを上回った。