[論文レビュー] Multilingual Sentiment Analysis: An RNN-Based Framework for Limited Data

Ethem F. Can, Aysu Ezen-Can+1 more|arXiv (Cornell University)|Jun 8, 2018

Sentiment Analysis and Opinion Mining参考文献 23被引用数 68

ひとこと要約

著者らは大規模な汎用データセットで英語言語のRNN感情モデルを訓練し、テストデータを英語に翻訳することでスペイン語・トルコ語・オランダ語・ロシア語に再利用し、ベースラインを上回る改善を達成した。

ABSTRACT

Sentiment analysis is a widely studied NLP task where the goal is to determine opinions, emotions, and evaluations of users towards a product, an entity or a service that they are reviewing. One of the biggest challenges for sentiment analysis is that it is highly language dependent. Word embeddings, sentiment lexicons, and even annotated data are language specific. Further, optimizing models for each language is very time consuming and labor intensive especially for recurrent neural network models. From a resource perspective, it is very challenging to collect data for different languages. In this paper, we look for an answer to the following research question: can a sentiment analysis model trained on a language be reused for sentiment analysis in other languages, Russian, Spanish, Turkish, and Dutch, where the data is more limited? Our goal is to build a single model in the language with the largest dataset available for the task, and reuse it for languages that have limited resources. For this purpose, we train a sentiment analysis model using recurrent neural networks with reviews in English. We then translate reviews in other languages and reuse this model to evaluate the sentiments. Experimental results show that our robust approach of single model trained on English reviews statistically significantly outperforms the baselines in several different languages.

研究の動機と目的

• 多言語感情分析におけるデータとリソースのボトルネックを動機づけ、対処する。
• より大きな汎用データセットを用いてドメインに特化できる、英語訓練済みの1つのRNNモデルを提案する。
• 推論のために非英語のテストセットを英語へ翻訳してモデルを評価する。
• 翻訳ベースの言語非依存アプローチが、リソースが限られた言語でベースラインを上回ることを示す。

提案手法

• 事前学習済み100次元の語彙埋め込みを用い、英語レビューで層あたり40ニューロンの2層双方向RNNを訓練する。
• 大域→特化戦略を用い、まず大規模で多領域の英語コーパス（Amazon reviews）で訓練し、次にドメイン固有の英語レビュー（Yelpとレストランデータセット）でドメイン特化する。
• 非英語のテストレビューをGoogle翻訳で英語に翻訳し、英語訓練済みモデルで極性を評価する。
• 4言語で多数派ベースラインと語彙ベースのベースライン（SentiWordNet）と比較する。
• Tukey HSDによる統計的有意性を評価し、効果量（Cohen’s d）を報告する。

実験結果

リサーチクエスチョン

• RQ1 一つの言語で訓練された感情分析モデルを、機械翻訳を用いてデータが限られた他言語で再利用できるか。
• RQ2 言語特有のリソースを含まない英語訓練済みRNNモデルは、多言語設定でベースラインを上回るか。
• RQ3 翻訳品質が多言語感情分類性能に与える影響は何か。

主な発見

Dataset	Majority Baseline	Lexicon-based Baseline	RNN
s_r	72.71	70.98	84.21
t_r	56.97	61.59	74.36
d_r	59.63	70.52	81.77
r_r	79.60	67.81	85.61

• RNNは4言語すべて（スペイン語、トルコ語、オランダ語、ロシア語）で両方のベースラインを上回る。
• データセットの正解率: s_r 84.21, t_r 74.36, d_r 81.77, r_r 85.61。
• RNNとベースライン間の平均正解率の差は、Tukey HSD検定で統計的に有意である。
• 翻訳ベースのアプローチは、非英語語の語が混ざることによる誤分類があるものの、堅牢な性能を示す。
• 英語テストの正解率は87.06%、ベースラインは多数派68.37%・語彙ベース60.10%である。
• このアプローチは、言語を超えてベースラインに対して相対的に大きな改善を達成する。