[論文レビュー] Analyzing Roles of Classifiers and Code-Mixed factors for Sentiment Identification

Soumil Mandal, Dipankar Das|arXiv (Cornell University)|Jan 8, 2018

Sentiment Analysis and Opinion Mining参考文献 1被引用数 13

ひとこと要約

この論文は、ローマ字で書かれた英語・ベンガル語のコードミックステキストにおけるセンチメント識別を調査し、分類器とコードミックス要因を評価している。英語とコードミックス特徴の組み合わせを用いたSVMでは、72.50%の正解率を達成しており、これは英語特徴のみで学習したモデルが最大59.00%にとどまるのと比べて顕著に優れている。

ABSTRACT

Multilingual speakers often switch between languages to express themselves on social communication platforms. Sometimes, the original script of the language is preserved, while using a common script for all the languages is quite popular as well due to convenience. On such occasions, multiple languages are being mixed with different rules of grammar, using the same script which makes it a challenging task for natural language processing even in case of accurate sentiment identification. In this paper, we report results of various experiments carried out on movie reviews dataset having this code-mixing property of two languages, English and Bengali, both typed in Roman script. We have tested various machine learning algorithms trained only on English features on our code-mixed data and have achieved the maximum accuracy of 59.00% using Naive Bayes (NB) model. We have also tested various models trained on code-mixed data, as well as English features and the highest accuracy of 72.50% was obtained by a Support Vector Machine (SVM) model. Finally, we have analyzed the misclassified snippets and have discussed the challenges needed to be resolved for better accuracy.

研究の動機と目的

• ソーシャルメディアの文脈において、英語とベンガル語が混在するコードミックス多言語テキストにおけるセンチメント識別の課題に対処すること。
• 英語特徴のみで学習した機械学習モデルが、コードミックスデータのセンチメント分類にどの程度有効であるかを評価すること。
• コードミックス言語的特徴を組み込むことで、センチメント分類性能に与える影響を評価すること。
• 誤分類された例を特定・分析し、コードミックスセンチメント分析における継続的な課題を明らかにすること。

提案手法

• 研究は、ローマ字で書かれた英語・ベンガル語のコードミックステキストを含む映画レビューのデータセットを用いている。
• ナイーブベイズ（NB）やサポートベクターマシン（SVM）を含む、さまざまな機械学習モデルを、英語特徴のみで学習させ、ベースライン性能を評価している。
• 英語とベンガル語の両言語からの語彙的、屈曲的、構文的手がかりを含む、コードミックステキストから抽出された特徴に基づいて、別個のモデルを学習させている。
• 英語特徴とコードミックス特徴を組み合わせたハイブリッドアプローチを採用し、モデルの汎化性能を向上させ、言語間のセンチメント信号を捉えている。
• 各モデルの性能は、標準的な指標を用いて評価されており、主な評価指標として正解率が報告されている。
• 誤分類例は手動で分析され、コードミックスセンチメント分類における言語的および構造的課題を特定している。

実験結果

リサーチクエスチョン

• RQ1 英語特徴のみで学習したモデルは、英語・ベンガル語のコードミックステキストに対してどの程度の性能を示すか？
• RQ2 コードミックス言語的特徴を組み込むことで、センチメント分類の正解率にどのような影響を与えるか？
• RQ3 コードミックス特徴で学習した場合と英語特徴のみで学習した場合とを比較したとき、どの機械学習モデルが最も優れた性能を示すか？
• RQ4 コードミックスセンチメント分析で誤分類を引き起こす主な言語的および構造的課題は何か？
• RQ5 分類器は、誤った類縁語、借用語、混合構文といったコードミックスパターンを、センチメント文脈でどのように処理しているか？

主な発見

• 英語特徴のみで学習した場合の最高正解率は、ナイーブベイズモデルで59.00%であった。
• 英語特徴とコードミックス特徴を組み合わせて学習したサポートベクターマシン（SVM）モデルが、72.50%の最高正解率を達成した。
• 英語特徴のみで学習したモデルは、コードミックスデータへの汎化能力に制限があり、言語を考慮した特徴工学の必要性を示している。
• 誤分類は、誤った類縁語や構文的不整合といった曖昧なコードミックスパターンと頻繁に関連していた。
• 分析から、コードミックステキストにおける形態句構造の複雑さと語彙的曖昧さが、センチメント分類を著しく妨げることが明らかになった。
• 結果から、単一言語の英語特徴だけでは到達できない性能を向上させるために、コードミックス特徴の導入が不可欠であることが示唆された。