[論文レビュー] JU_KS@SAIL_CodeMixed-2017: Sentiment Analysis for Indian Code Mixed Social Media Texts

Kamal Sarkar|arXiv (Cornell University)|Feb 15, 2018

Sentiment Analysis and Opinion Mining参考文献 12被引用数 8

ひとこと要約

この論文では、n-gramおよびSentiWordnet特徴を用いたMultinomial Naïve Bayesを用いて、インドのコードミックスドSNSテキスト向けのセンチメント分析システムを提示している。SAIL-2017の共同タスクであるヒンディー語-英語およびベンガル語-英語のコードミックスドテキスト向けセンチメント分析で3位を達成し、言語固有のセンチメントリソースを最小限に抑えた状態で優れた性能を示した。

ABSTRACT

This paper reports about our work in the NLP Tool Contest @ICON-2017, shared task on Sentiment Analysis for Indian Languages (SAIL) (code mixed). To implement our system, we have used a machine learning algo-rithm called Multinomial Naïve Bayes trained using n-gram and SentiWordnet features. We have also used a small SentiWordnet for English and a small SentiWordnet for Bengali. But we have not used any SentiWordnet for Hindi language. We have tested our system on Hindi-English and Bengali-English code mixed social media data sets released for the contest. The performance of our system is very close to the best system participated in the contest. For both Bengali-English and Hindi-English runs, our system was ranked at the 3rd position out of all submitted runs and awarded the 3rd prize in the contest.

研究の動機と目的

• ヒンディー語-英語およびベンガル語-英語のコードミックスドSNSテキスト向けのセンチメント分析システムの開発を目的とする。
• 低リソースで言語が混在するSNSコンテンツにおけるセンチメント分類の課題に対処することを目的とする。
• 多言語環境下でn-gram特徴とクロスリンガルセンチメントリソースを組み合わせることの有効性を評価することを目的とする。
• 言語固有のセンチメントリソースを最小限に抑えても競争力のある性能を達成することを目的とする。
• インドの言語におけるコードミックスドセンチメント分析に軽量で効果的なソリューションを貢献することを目的とする。

提案手法

• 分類のコアアルゴリズムとしてMultinomial Naïve Bayesを採用した。
• コードミックスドテキスト内の局所的な語彙的・構文的パターンを捉えるためにn-gram特徴を用いた。
• センチメントスコアリングのため、小さな英語版SentiWordnetと小さなベンガル語版SentiWordnetを統合した。
• ヒンディー語用のSentiWordnetは使用せず、代わりに英語およびベンガル語リソースからのクロスリンガル転送に依存した。
• 2つのベンチマークデータセット（ヒンディー語-英語およびベンガル語-英語のコードミックスドSNSテキスト）を用いてシステムを訓練および評価した。
• n-gram特徴とセンチメントリソースのスコアを統合することで分類精度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 n-gramおよびSentiWordnet特徴を用いたMultinomial Naïve Bayes分類器は、コードミックスドセンチメント分析に対してどれほど効果的か？
• RQ2 関連するインドの言語から得たクロスリンガルセンチメントリソースは、低リソースのコードミックスドテキストにおける性能を向上させることができるか？
• RQ3 ヒンディー語用SentiWordnetが存在しない場合、ヒンディー語-英語コードミックスドデータに対するシステム性能にどのような影響を与えるか？
• RQ4 多言語コードミックスド環境下で、言語固有のセンチメントリソースを最小限に抑えた場合にどの程度の性能が達成できるか？
• RQ5 SAIL-2017共同タスクにおける最先端のアプローチと比較して、このシステムはどのように性能を発揮するか？

主な発見

• このシステムは、コードミックスドインドのSNSテキスト向けセンチメント分析のSAIL-2017共同タスクで3位を達成した。
• ヒンディー語-英語およびベンガル語-英語の両方のコードミックスドデータセットで、両タスクともに3位という競争力のある成績を収めた。
• n-gram特徴と英語およびベンガル語SentiWordnetの組み合わせが、分類精度を顕著に向上させた。
• システムは、多言語コードミックスド環境下でも、言語固有のセンチメントリソースにほとんど依存しない状態でも強力な結果を達成できることを示した。
• ヒンディー語SentiWordnetが欠落しているにもかかわらず、性能が著しく低下しなかったことから、英語およびベンガル語リソースからの効果的なクロスリンガル転送が可能であることが示された。
• 従来のn-gram特徴と軽量なセンチメントリソースを組み合わせることの有効性が、低リソースでコードミックスドなNLPタスクにおいて確認された。