[論文レビュー] Deep Learning for Digital Text Analytics: Sentiment Analysis

U. Reshma, H B Barathi Ganesh+3 more|arXiv (Cornell University)|Apr 10, 2018

Sentiment Analysis and Opinion Mining参考文献 9被引用数 7

ひとこと要約

本論文では、デジタルニューステキストにおけるセンチメント分析のためのディープラーニングアプローチを提案する。初期ラベル付けにはVADERを、分類には事前学習済みGloVe埋め込みを用いた畳み込みニューラルネットワーク（CNN）を組み合わせる。モデルは、内部および外部データセットの両方で96％の訓練精度と85％以上のテスト精度を達成し、SVM や Doc2Vec といった従来手法を上回る性能を示した。

ABSTRACT

In today's scenario, imagining a world without negativity is something very unrealistic, as bad NEWS spreads more virally than good ones. Though it seems impractical in real life, this could be implemented by building a system using Machine Learning and Natural Language Processing techniques in identifying the news datum with negative shade and filter them by taking only the news with positive shade (good news) to the end user. In this work, around two lakhs datum have been trained and tested using a combination of rule-based and data driven approaches. VADER along with a filtration method has been used as an annotating tool followed by statistical Machine Learning approach that have used Document Term Matrix (representation) and Support Vector Machine (classification). Deep Learning algorithms then came into picture to make this system reliable (Doc2Vec) which finally ended up with Convolutional Neural Network(CNN) that yielded better results than the other experimented modules. It showed up a training accuracy of 96%, while a test accuracy of (internal and external news datum) above 85% was obtained.

研究の動機と目的

• 自然言語処理および機械学習を用いて、ネガティブニュースをフィルタリングし、ユーザーにポジティブニュースのみを提供する信頼性の高いシステムの開発。
• ルールベースのセンチメント分析（VADER）と機械学習モデルを組み合わせることで、手動ラベル付け作業の負荷を軽減すること。
• 従来の統計的手法（DTM-SVM）やニューラルネットワーク（Doc2Vec）を上回るセンチメント分類の精度を向上させること。
• ドメイン特性が異なる実世界のニューステキストに対して、ディープラーニングモデル（特にCNN）の性能を評価すること。
• 事前学習済み単語ベクトル（GloVe）とハイパーパramータチューニングを活用して、内部および外部のテストデータに対して堅牢な一般化性能を向上させること。

提案手法

• VADERを用い、フィルタリング手法を適用して約200,000件のニュースサンプルをセンチメント極性（ポジティブ／ネガティブ）で自動的にラベル付けした。
• ドキュメント・トゥ・マトリクス（DTM）表現とサポートベクターマシン（SVM）を用いた統計的機械学習パイプラインを、ベースライン分類に適用した。
• 袋の単語（bag-of-words）を超えた意味的文脈を捉えるために、ドキュメント全体の分散表現をDoc2Vecで生成した。
• 600フィルタ、フィルタサイズ3、ReLU活性化関数、マックスプーリング、0.5ドロップアウトを用いた畳み込みニューラルネットワーク（CNN）を設計した。
• 入力表現の向上とモデル一般化性能の向上を図るために、事前学習済みGloVe語彙埋め込みを統合した。
• 学習率、エポック数（20）、ストライド（1）、パディング（valid）などのハイパーパramータを最適化し、GPUを用いて効率的に学習を実行した。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのセンチメントスコア（VADER）とディープラーニングを組み合わせたハイブリッドアプローチは、ニューステキストにおけるセンチメント分類精度を向上させることができるか？
• RQ2 CNNベースのモデルは、DTM-SVM や Doc2Vec といった従来手法と比較して、ニュース記事のセンチメント分類においてどのように異なるか？
• RQ3 事前学習済みGloVe埋め込みを用いることで、ニュースデータにおけるセンチメント分類モデルの性能はどの程度向上するか？
• RQ4 トレーニング時に使用しなかった未観測の外部ニュースデータに対しても、モデルは良好な一般化性能を示せるか？
• RQ5 ハイパーパramータチューニングおよびドロップアウト正則化は、モデルの頑健性とテスト精度にどのような影響を与えるか？

主な発見

• CNNモデルは96％の訓練精度を達成しており、トレーニングデータに対する強い学習能力を示している。
• 同じ分布からの未学習データに対する内部テスト精度は85％を超えた。
• 手動でラベル付けされた外部データセットにおけるテスト精度も85％を超えており、実世界のニュースへの頑健な一般化性能を示している。
• CNNはDTM-SVMおよびDoc2Vecのベースラインを上回り、このテキスト分類タスクにおける優位性を確認した。
• 事前学習済みGloVe埋め込みの統合により、入力表現の質とモデル性能が顕著に向上した。
• ドロップアウト（0.5）および最適なフィルタサイズ（3）を含むハイパーパラメータチューニングが、一般化性能の向上と過学習の低減に寄与した。