[論文レビュー] Convolutional Neural Networks for Sentiment Classification on Business Reviews

Andreea Salinca|arXiv (Cornell University)|Oct 16, 2017

Topic Modeling参考文献 14被引用数 7

ひとこと要約

本論文は、事前学習済み単語埋め込みを用いてYelpのビジネスレビューにおけるセンチメント分類のための単語ベースの畳み込みニューラルネットワーク（CNN）モデルを提案する。大規模なYelp 2017データセットを用いた3-fold交差検証において95.6%の精度を達成し、従来の手法や先行のディープラーニングモデルと比較して競争力のある性能を示している。

ABSTRACT

Recently Convolutional Neural Networks (CNNs) models have proven remarkable results for text classification and sentiment analysis. In this paper, we present our approach on the task of classifying business reviews using word embeddings on a large-scale dataset provided by Yelp: Yelp 2017 challenge dataset. We compare word-based CNN using several pre-trained word embeddings and end-to-end vector representations for text reviews classification. We conduct several experiments to capture the semantic relationship between business reviews and we use deep learning techniques that prove that the obtained results are competitive with traditional methods.

研究の動機と目的

• 大規模なビジネスレビューにおける単語ベースのCNNのセンチメント分類への有効性を調査すること。
• 事前学習済み単語埋め込み（GloVe、word2vec、fastText）とエンドツーエンドで学習された表現のセンチメント分類における性能を比較すること。
• フィルターサイズ、特徴マップの数、ドロップアウト正則化などのアーキテクチャハイパーパrameterがモデル性能に与える影響を評価すること。
• ディープラーニング技術を用いてYelp 2017チャレンジデータセットで最先端または競争力のある結果を達成すること。
• テキストセンチメント分類におけるハイパーパrameterチューニングおよびモデル設計に関する実証的知見を提供すること。

提案手法

• 本研究では、トークンを密なベクトル表現にマッピングする埋め込み層を備えた単語ベースのCNNアーキテクチャを採用する。
• レビューは最大1,000語に切り詰められ、次元削減のため100,000個の頻出語に制限される。
• 2つのCNNモデルを比較する：1つは単一の畳み込み層を有するもの、もう1つはより深い構造と複数のフィルターサイズ（例：3, 4, 5）を持つもの。
• 性能への影響を評価するため、事前学習済み単語埋め込み（GloVe、word2vec、fastText）と自己学習済みword2vec埋め込みを検証する。
• 最適化にはNesterov付きAdamまたはRMSpropを用いた確率的勾配降下法を実施し、正則化のためドロップアウトを0.2および0.5で適用する。
• モデルの評価は、Yelp 2017データセット全体を3-fold交差検証で実施し、主に精度を指標とする。

実験結果

リサーチクエスチョン

• RQ1 Yelpレビューにおけるセンチメント分類において、異なる事前学習済み単語埋め込み（GloVe、word2vec、fastText）の性能はどのように比較されるか？
• RQ2 アーキテクチャの深さとフィルターサイズの影響は、CNNのセンチメント分類性能にどのように現れるか？
• RQ3 ドロップアウト正則化は、大規模なレビューデータセットにおけるモデルの一般化性能と精度にどのように影響するか？
• RQ4 エンドツーエンドで学習された単語埋め込みは、センチメント分類タスクで事前学習済み埋め込みを上回る性能を示せるか？
• RQ5 特にYelpデータセットの小規模および大規模サブセットを比較した場合、モデル性能はデータセットサイズにどのようにスケーリングするか？

主な発見

• 複数のフィルターサイズとより深いアーキテクチャを持つ2番目のCNNモデルが、3-fold交差検証を用いてYelp 2017データセット全体で最高の95.6%の精度を達成した。
• 300次元の事前学習済みfastText埋め込みが、大規模データセットで最も優れた性能を示し、94.73%の精度を達成した。
• Nesterov付きAdam最適化手法がRMSpropを上回り、同じ設定下で95.15%の精度（RMSpropは94.99%）を記録した。
• より強いドロップアウト正則化（0.5）は、軽めのドロップアウト（0.2）よりも性能を低下させた。これは、この設定下で過剰正則化が生じたことを示している。
• 大規模データセットで事前学習済みGloVe埋め込みを使用したモデルは94.54%の精度を達成し、異なる埋め込みタイプに対して高いロバスト性を示した。
• Yelp 2015データセットにおける先行研究（SVMやn-gram分類器を含む）と比較して、本研究の結果は同等または優れた性能を示した。