[論文レビュー] Sentiment Identification in Code-Mixed Social Media Text

Souvick Ghosh, Satanu Ghosh+1 more|arXiv (Cornell University)|Jul 4, 2017

Sentiment Analysis and Opinion Mining参考文献 25被引用数 36

ひとこと要約

本論文は、英語とベンガル語の二か国語混合のソーシャルメディア投稿に特化した、機械学習に基づく感情分類器の初の提出である。単語レベル、意味的、構文的特徴を備えた多層パーセプトロンを用い、感情を肯定的、否定的、中立の3つに分類するモデルは68.5%の正確度を達成した。品詞タグとポジティブな絵文字リストが最も影響力のある特徴であった。

ABSTRACT

Sentiment analysis is the Natural Language Processing (NLP) task dealing with the detection and classification of sentiments in texts. While some tasks deal with identifying the presence of sentiment in the text (Subjectivity analysis), other tasks aim at determining the polarity of the text categorizing them as positive, negative and neutral. Whenever there is a presence of sentiment in the text, it has a source (people, group of people or any entity) and the sentiment is directed towards some entity, object, event or person. Sentiment analysis tasks aim to determine the subject, the target and the polarity or valence of the sentiment. In our work, we try to automatically extract sentiment (positive or negative) from Facebook posts using a machine learning approach.While some works have been done in code-mixed social media data and in sentiment analysis separately, our work is the first attempt (as of now) which aims at performing sentiment analysis of code-mixed social media text. We have used extensive pre-processing to remove noise from raw text. Multilayer Perceptron model has been used to determine the polarity of the sentiment. We have also developed the corpus for this task by manually labeling Facebook posts with their associated sentiments.

研究の動機と目的

• コードミックスドソーシャルメディアテキスト、特に英語・ベンガル語の二か国語混合コンテンツに対する感情分析ツールの不足に応えること。
• 感情極性（肯定的、否定的、中立的）を手動でアノテートした565件のゴールドスタンダードデータセットの構築。
• 非公式でノイズの多いコードミックスドソーシャルメディアテキストに特化した特徴工学による感情分類性能の向上。
• 単語レベル、意味的、構文的、スタイル的特徴の多様なタイプが感情分類の正確度に与える影響を調査すること。
• 低リソースで多言語のソーシャルメディアテキストにおいて、皮肉、否定、文脈の切り替えといった課題にどう対処するかを検討すること。

提案手法

• ノイズ除去、綴りの正規化、略語の翻訳を含む、882件のFacebook投稿の収集と前処理。
• 2名の人が感情極性をラベル付けした結果、完全一致した565件のみを保持したゴールドスタンダードデータセットを構築（カッパ係数 = 0.4354）。
• 単語レベル特徴（例：感情辞書）、意味的特徴（例：SWN, OL, ESW, BSW, CBW）、構文的特徴（品詞タグ：JJ, RB, RB_JJ）、スタイル的特徴（UW, E, Q, R, CS, S1, S2）を抽出。
• これらの特徴の組み合わせを用いて、感情極性を分類する多層パーセプトロン（MLP）モデルを学習。
• 正確度、適合率、再現率、F1スコアを用いた性能評価と、特徴の影響を評価するアブレーションスタディを実施。
• 繰り返しの特徴追加と個別特徴の除外を用い、分類に最も影響を与える特徴を特定。

実験結果

リサーチクエスチョン

• RQ1 ベースライン手法と比較して、コードミックスドソーシャルメディアテキストにおける感情分類に多層パーセプトロンモデルはどの程度有効であるか？
• RQ2 単語レベル、意味的、構文的、スタイル的特徴のどの組み合わせが感情分類の正確度を最も高めるか？
• RQ3 スタイル特徴（例：大文字の単語、絵文字）を含めることで分類性能にどのような影響があるか？
• RQ4 個々の特徴は分類にどのように寄与するか、そして正確な感情検出に最も重要な特徴は何か？
• RQ5 モデルの性能が中立感情へのバイアスによってどの程度低下するか、そしてそのバイアスはどのように軽減できるか？

主な発見

• 最高のモデルは、単語ベース特徴（グループ1）と構文的特徴（グループ2）の組み合わせを用い、68.5%の正確度を達成し、ベースラインモデル（55.2%）を上回った。
• スタイルベース特徴（UW, E, Q, R, CS）の追加は正確度を低下させた。これは、コードミックスドテキストにおいてノイズを引き起こす可能性があることを示唆している。
• 品詞タグ（JJ, RB, RB_JJ）とポジティブ絵文字リストを除外した場合、正確度が最も大きく低下（60.6%）し、これらが極めて重要な役割を果たしていることが明らかになった。
• BSW（ベンガル語固有の単語）を除外しても正確度に影響がなかったため、一般的な辞書ベースのアプローチがソーシャルメディアのコードミックスドテキストにはあまり効果がないことが示された。
• モデルは中立分類への顕著なバイアスを示しており、23件の肯定的、10件の否定的投稿が中立と誤分類された。これは、極性の不均衡に対処する余地があることを示している。
• 混同行列から、中立クラスは最高の再現率（85.7%）を示したが、肯定的・否定的クラスのF1スコアは低く（それぞれ0.55と0.513）、非中立感情の分類に課題があることが明らかになった。