[論文レビュー] An Ensemble Model for Sentiment Analysis of Hindi-English Code-Mixed Data

Madan Gopal Jhanwar, Arpita Das|arXiv (Cornell University)|Jun 12, 2018

Sentiment Analysis and Opinion Mining参考文献 6被引用数 20

ひとこと要約

本稿では、ヒンディー語-英語の混在コード化されたソーシャルメディアテキストにおけるセンチメント分析のため、文字trigramに基づくLSTMと単語n-gramに基づくMultinomial Naive Bayes (MNB)分類器を組み合わせたアンサンブルモデルを提案する。LSTMによる順序パターン学習とMNBによるキーワード極性検出を活用することで、アンサンブルは最先端の性能を達成し、実世界のデータセットで70.8%の精度を記録し、従来のモデルおよびディープラーニングベースラインを上回った。

ABSTRACT

In multilingual societies like India, code-mixed social media texts comprise the majority of the Internet. Detecting the sentiment of the code-mixed user opinions plays a crucial role in understanding social, economic and political trends. In this paper, we propose an ensemble of character-trigrams based LSTM model and word-ngrams based Multinomial Naive Bayes (MNB) model to identify the sentiments of Hindi-English (Hi-En) code-mixed data. The ensemble model combines the strengths of rich sequential patterns from the LSTM model and polarity of keywords from the probabilistic ngram model to identify sentiments in sparse and inconsistent code-mixed data. Experiments on reallife user code-mixed data reveals that our approach yields state-of-the-art results as compared to several baselines and other deep learning based proposed methods.

研究の動機と目的

• 低リソースでノイズが多く、言語的に一貫性のないヒンディー語-英語の混在コード化されたソーシャルメディアテキストにおけるセンチメント分析の課題に対処すること。
• コード化データに一般的に見られるレア語彙や未知語素（OOV）トークンに対処するためのディープラーニングモデルの限界を克服すること。
• 順序モデリング（LSTM）の強みとキーワードレベルの極性検出（MNB）の強みを組み合わせることで、センチメント分類の精度を向上させること。
• 従来のn-gramモデルが、低リソースなコード化環境においてディープラーニングモデルを補完できるかという仮説を検証すること。
• スパarsityと一貫性の欠如するコード化データにおいて、スタンドアロンモデルよりも一般化性能に優れた堅牢なハイブリッド手法を提示すること。

提案手法

• モデルは、双方向LSTMネットワーク内で文字trigramをサブワード特徴として使用し、コード化テキスト内の順序的および語彙的パターンを捉える。
• 別個のMultinomial Naive Bayes (MNB)分類器は、単語n-gram（ユニグラムとビグラム）を用いてキーワードの組み合わせからセンチメントを検出するように学習される。
• 両モデルの出力を、それぞれの検証セット精度で重み付けした確率乗算により統合し、最終予測を生成する。
• アンサンブル戦略は、LSTMの長距離依存関係モデリング能力と、MNBがレア語彙やスラングキーワードのセンチメント検出に優れている点を活かす。
• 最終予測は、個々のモデルの確率の積から得られる結合確率が最大となるクラスを選択することで行われる。
• 手法は実際のヒンディー語-英語の混在コード化データセット上で評価され、ハイパーパramータは開発セット上でチューニングされた。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングと従来の確率的モデルを組み合わせたハイブリッドモデルが、低リソースでコード化されたヒンディー語-英語テキストにおけるセンチメント分類精度を向上させられるか？
• RQ2 文字trigramに基づくLSTMと単語n-gramに基づくMNBモデルは、コード化データにおける言語的スパarsityと一貫性の欠如をどのように補完し合うか？
• RQ3 MNBからのn-gram特徴の統合が、レア語彙や誤字の多いセンチメント語彙に対するLSTMの一般化失敗を緩和するか？
• RQ4 この文脈において、ディープラーニングモデルと従来の分類器の出力を最適に統合する方法は何か？
• RQ5 アンサンブルモデルは、スタンドアロンのディープラーニングおよび従来の機械学習ベースラインをどの程度上回るか？

主な発見

• 提案されたアンサンブルモデルは、テストセットで70.8%の精度を達成し、SVM、MNB、その他のディープラーニングアプローチを含むすべてのベースラインモデルを上回った。
• アンサンブルモデルはF1スコア0.661を達成し、次に良いモデル（サブワード構成に基づくLSTM）の0.652を著しく上回った。
• 確率の乗算に基づく統合は、重み付き線形結合（69.1%）よりも優れた性能（70.8%）を示し、モデル間の相乗効果が強いことを示した。
• 定性的分析では、MNBモデルが「fadu」（すばらしい）や「c******」（ばか）といったレア語彙やスラングキーワードのセンチメント検出に優れており、LSTMはその頻度が低いために一般化に失敗することが分かった。
• LSTMモデルは、順序的依存関係をモデル化できるため、より長い複雑な文で優れた性能を発揮するが、MNBは綴りの変化や語彙の多様性に対してより頑健である。
• 結果は、順序モデリングとキーワードレベルの極性検出を組み合わせることで、低リソースでノイズの多いコード化環境における耐障害性と精度が向上することを裏付けた。