[論文レビュー] Sentiment Analysis in Twitter for Macedonian

Dame Jovanoski, Veno Pachovski+1 more|arXiv (Cornell University)|Sep 27, 2021

Sentiment Analysis and Opinion Mining参考文献 33被引用数 4

ひとこと要約

本稿では、マケドニア語のツイート向けに最初のセンチメント分析システムを提示する。手作業でアノテートされた1,000件のツイートを含むコーパスを提供し、ツイートレベルおよびフレーズレベルのセンチメント極性（肯定的、否定的、ニュートラル）をラベル付けするとともに、ブートストラップ手法を用いたセンチメント語彙も開発した。前処理技術と語彙ベースの特徴量を組み合わせた結果、F1スコアは92.16を達成し、SemEvalコンペティションで報告された最高水準の英語結果と同等の性能を示した。

ABSTRACT

We present work on sentiment analysis in Twitter for Macedonian. As this is pioneering work for this combination of language and genre, we created suitable resources for training and evaluating a system for sentiment analysis of Macedonian tweets. In particular, we developed a corpus of tweets annotated with tweet-level sentiment polarity (positive, negative, and neutral), as well as with phrase-level sentiment, which we made freely available for research purposes. We further bootstrapped several large-scale sentiment lexicons for Macedonian, motivated by previous work for English. The impact of several different pre-processing steps as well as of various features is shown in experiments that represent the first attempt to build a system for sentiment analysis in Twitter for the morphologically rich Macedonian language. Overall, our experimental results show an F1-score of 92.16, which is very strong and is on par with the best results for English, which were achieved in recent SemEval competitions.

研究の動機と目的

• マケドニア語のソーシャルメディア分野、特にツイッターにおけるセンチメント分析リソースの不足に対処すること。
• ツイートレベルおよびフレーズレベルのセンチメント極性にラベル付けされた、高品質で手作業でアノテートされたマケドニア語ツイートコーパスの開発。
• 多言語ソースから得たブートストラップ手法を用いて、マケドニア語向けの大規模かつ多言語対応のセンチメント語彙の作成。
• さまざまな前処理ステップと特徴量セットがセンチメント分類性能に与える影響の評価。
• マケドニア語のような低リソースで屈曲語彙が豊富な言語分野における今後の研究の強力なベースラインの確立。

提案手法

• マケドニア語のツイート1,000件を母体としたコーパスを構築し、ネイティブスピーカーによるセンチメント極性（肯定的、否定的、ニュートラル）およびフレーズレベルのセンチメントをアノテートした。
• マケドニア語向けに複数のセンチメント語彙を開発し、手作業でキュレートされた語彙に加え、多言語ソースから抽出したブートストラップ語彙も含めた。
• ストップワード除去、否定文の処理、標準マケドニア語への正規化、文字列の繰り返し処理、ステミング、品詞タグ付けなどの前処理ステップを適用した。
• センチメント語彙、単語数、言語処理の特徴量を抽出し、アノテート済みデータで学習した分類器を用いた機械学習パイプラインを採用した。
• F1スコア（肯定クラスと否定クラスの平均）を用いてシステム性能を評価し、ニュートラルクラスは暗黙的に扱った。
• 比較実験デザインを用いて、個々の前処理ステップと特徴量セットが分類精度に与える影響を分離して評価した。

実験結果

リサーチクエスチョン

• RQ1 ストップワード除去、否定文処理、正規化といった異なる前処理技術が、マケドニア語のツイートにおけるセンチメント分類性能に与える影響は何か？
• RQ2 特にブートストラップ語彙と手作業でキュレートされた語彙を含む語彙ベースの特徴量が、システム性能にどのように寄与しているか？
• RQ3 マケドニア語の文法的豊富さが、センチメント分析における標準的な自然言語処理前処理ステップの有効性にどの程度影響を及えるか？
• RQ4 提案されたシステムの性能は、英語のような高リソース言語における最先端のシステムと比較して、どの程度の水準にあるか？特にツイッターのセンチメント分析という文脈で。
• RQ5 センチメント語彙や言語的特徴量といった、さまざまな特徴量セットの相対的寄与度は、最終的な分類F1スコアにどの程度影響を与えているか？

主な発見

• 完全なシステムはF1スコア92.16を達成し、最近のSemEvalコンペティションで報告された英語の最高水準の結果と同等の性能を示した。
• ストップワード除去を除外した場合、F1スコアは5.92ポイント低下し、性能向上において極めて重要な役割を果たしていることが示された。
• 否定文処理を除外した場合も顕著な影響があり、F1スコアは4.65ポイント低下した。
• 標準マケドニア語への正規化を除外した場合、F1スコアは1.94ポイント低下し、屈曲的変化への対処の重要性が浮き彫りになった。
• ステミングはF1スコアを0.98ポイント向上させたが、品詞タグ付けはほとんど影響を与えず、F1スコアはたった0.15ポイント低下したにとどまった。
• ブートストラップ語彙が最も大きな寄与を示し、除外した場合にF1スコアは19.39ポイントも低下し、手作業でキュレートされた語彙の影響を上回った。