[論文レビュー] Urdu Speech and Text Based Sentiment Analyzer

Waqar Ahmad, Maryam Edalati|arXiv (Cornell University)|Jul 19, 2022

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本稿では、10,000件のツイートから成る手動でアノテートされたウルドゥー語センチメント分析データセットを提案し、5つのリソースベースおよびルールベースのモデル—ナイーブベイズ、TextBlob、VADER、Stanza、Flair—をこのデータセット上で評価している。Flairは70%の最高精度を達成し、事前学習済みモデルを用いた翻訳ベースのアプローチにおけるウルドゥー語センチメント分析の強力なベースラインを確立した。

ABSTRACT

Discovering what other people think has always been a key aspect of our information-gathering strategy. People can now actively utilize information technology to seek out and comprehend the ideas of others, thanks to the increased availability and popularity of opinion-rich resources such as online review sites and personal blogs. Because of its crucial function in understanding people's opinions, sentiment analysis (SA) is a crucial task. Existing research, on the other hand, is primarily focused on the English language, with just a small amount of study devoted to low-resource languages. For sentiment analysis, this work presented a new multi-class Urdu dataset based on user evaluations. The tweeter website was used to get Urdu dataset. Our proposed dataset includes 10,000 reviews that have been carefully classified into two categories by human experts: positive, negative. The primary purpose of this research is to construct a manually annotated dataset for Urdu sentiment analysis and to establish the baseline result. Five different lexicon- and rule-based algorithms including Naivebayes, Stanza, Textblob, Vader, and Flair are employed and the experimental results show that Flair with an accuracy of 70% outperforms other tested algorithms.

研究の動機と目的

• 低リソース言語のNLP研究のための手動でアノテートされた多クラスのウルドゥー語センチメントデータセットを作成すること。
• 既存のリソースベースおよびルールベースのセンチメント分析モデルがウルドゥー語テキストに対して果たす性能を評価すること。
• 翻訳ベースおよび事前学習済みモデルを用いた今後のウルドゥー語センチメント分析研究のためのベースラインを確立すること。
• NLP分野における公開可能で高品質なウルドゥー語センチメントデータセットの不足を是正すること。

提案手法

• データセットは、ウルドゥー語のユーザーレビューを用いてTwitterから収集され、人間の専門家によってポジティブおよびネガティブのセンチメントクラスに手動でアノテートされた。
• テキストはGoogle翻訳APIを用いて英語に翻訳され、英語ベースのセンチメントモデルとの互換性を確保した。
• 5つのリソースベースのモデル—ナイーブベイズ、TextBlob、VADER、Stanza、Flair—が翻訳済みテキストに対して適用され、センチメント分類が行われた。
• Flairは、事前学習済みの英語センチメントモデル（en-sentiment）を用いて、翻訳済みウルドゥー語テキストのセンチメントを予測した。
• 10,000件のテストセットを用いて、混同行列と精度スコアを用いて性能を評価した。
• 本研究ではパイプラインアプローチを採用した：必要に応じて音声からテキストへの翻訳（もし適用可能であれば）、その後に事前学習済みモデルを用いたセンチメント分類を実施した。

実験結果

リサーチクエスチョン

• RQ1 翻訳後に英語ベースのモデルを用いる場合、低リソース言語のウルドゥー語テキストに対して既存のリソースベースおよびルールベースのセンチメント分析モデルはどの程度効果的か？
• RQ2 新たに作成されたウルドゥー語センチメントデータセット上で、異なるセンチメント分析モデルの性能差は何か？
• RQ3 翻訳と事前学習済み英語モデルを用いることで、Flairは他のモデルよりもウルドゥー語テキストのセンチメント分類で優れた性能を示せるか？
• RQ4 手動でアノテートされた10,000件のサンプルを含むデータセットを用いた場合、ウルドゥー語センチメント分析で達成可能なベースライン精度は何か？
• RQ5 モデルの性能差は、NLPにおける低リソース言語処理の課題をどのように反映しているか？

主な発見

• Flairは手動でアノテートされたウルドゥー語データセットで70%の最高精度を達成し、他のすべてのテストモデルを上回った。
• ナイーブベイズとTextBlobはともに59%の精度を達成し、ウルドゥー語センチメント分類タスクにおいて中程度の性能を示した。
• VADERは45%の精度にとどまり、英語のリソースベースのルールを用いた場合、ウルドゥー語テキストに対しては限定的な有効性を示した。
• Stanzaは31%の精度にとどまり、英語のNLPツールを用いた場合、ウルドゥー語への一般化能力が著しく低いことが示された。
• 結果から、Flairは評価されたリソースベースのアプローチの中で、ウルドゥー語センチメント分析において最も頑健なモデルであることが明らかになった。
• 本研究は、事前学習済みモデルを用いた翻訳ベースのアプローチが、ウルドゥー語のような低リソース言語に対しても実用的な結果をもたらす可能性を裏付けた。