[論文レビュー] Uzbek Sentiment Analysis based on local Restaurant Reviews

Sanatbek Matlatipov, Hulkar Rahimboeva+2 more|arXiv (Cornell University)|May 31, 2022

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、タシケントのGoogleマップから収集した8,210件のウズベク語レストランレビューから構成される、手作業で作成された新しいデータセットを提示する。スコア評価（4〜5つ星＝ポジティブ、1〜3つ星＝ネガティブ）を用いて感情分析のラベル付けがなされている。複数のモデルを評価した結果、語彙的n-gramと文字n-gramを組み合わせたロジスティック回帰が91%の最高精度を達成し、特に語形素処理（語幹抽出）が、ウズベク語のような低リソースで屈曲語の言語において有効であることが示された。

ABSTRACT

Extracting useful information for sentiment analysis and classification problems from a big amount of user-generated feedback, such as restaurant reviews, is a crucial task of natural language processing, which is not only for customer satisfaction where it can give personalized services, but can also influence the further development of a company. In this paper, we present a work done on collecting restaurant reviews data as a sentiment analysis dataset for the Uzbek language, a member of the Turkic family which is heavily affected by the low-resource constraint, and provide some further analysis of the novel dataset by evaluation using different techniques, from logistic regression based models, to support vector machines, and even deep learning models, such as recurrent neural networks, as well as convolutional neural networks. The paper includes detailed information on how the data was collected, how it was pre-processed for better quality optimization, as well as experimental setups for the evaluation process. The overall evaluation results indicate that by performing pre-processing steps, such as stemming for agglutinative languages, the system yields better results, eventually achieving 91% accuracy result in the best performing model

研究の動機と目的

• 低リソースで屈曲語の言語（ウズベク語など）向けの感情分析リソースの不足に対処するため、ドメイン特化型のデータセットを構築すること。
• 新しく収集したウズベク語レストランレビューのデータセット上で、多様な機械学習およびディープラーニングモデルの性能を評価すること。
• 特に語幹抽出とストップワード除去を含む前処理手順が、低リソース環境下でのモデル精度に与える影響を調査すること。
• 今後のウズベク語および類似言語のNLP研究を支援するため、公開可能なデータセットとコードベースを提供すること。

提案手法

• データセットは、タシケントのレストランのURLを用いてGoogleマップからWebクローリングにより収集された。主に地元ウズベク料理に焦点を当てた。
• レビューは5段階評価システムを用いてラベル付けされた：4〜5つ星はポジティブ、1〜3つ星はネガティブとされた。1,000件以上のレビューはGoogle Translate APIを用いてウズベク語に翻訳された。
• 前処理にはURLや標点記号の削除、小文字変換、TF-IDFに基づくストップワードリストを用いたストップワード除去が含まれた。
• ウズベク語語尾に基づくカスタムの語形素抽出器を適用し、屈曲語の構造に対応する。これにより、より適切な語の分割と分析が可能になった。
• 複数のモデルを評価した：ロジスティック回帰（語彙的n-gramと文字n-gramを併用）、線形カーネルを用いたSVM、RNN、CNN。fastText語彙埋め込みを用いる・しないの両方の条件で評価した。
• 評価には標準的な指標（精度、再現率、F1スコア、正解率）を用い、偏りを低減するための交差検証は今後の課題として計画されている。

実験結果

リサーチクエスチョン

• RQ1 ロジスティック回帰やSVMといった従来の機械学習モデルは、ウズベク語のような低リソースで屈曲語の言語において、感情分析にどの程度有効であるか？
• RQ2 特に語幹抽出とストップワード除去を含む前処理は、ウズベク語の感情分類精度をどの程度向上させるか？
• RQ3 RNN や CNN といったディープラーニングモデルは、比較的小さなウズベク語感情分析データセットにおいて、従来モデルに比べてどの程度の性能を示すか？
• RQ4 事前学習済み語彙埋め込み（例：fastText）は、ウズベク語のような低リソース言語において性能を向上させるか？
• RQ5 ポジティブとネガティブのレビューの数に偏りがある場合、モデルの性能と一般化能力にどのような影響を与えるか？

主な発見

• 語彙的n-gramと文字n-gramを併用したロジスティック回帰モデルが91%の最高精度を達成し、他のモデルを上回った。
• 文字n-gramのみを用いたモデルは90%の精度を達成し、綴りのばらつきに対して高い耐性を示した。
• 線形カーネルを用いたSVMは88%の精度、RNNとCNNはそれぞれ88%および89.23%の精度を示し、データセットサイズの制限によりディープラーニングの性能向上が限定的であった。
• ウズベク語語尾に基づくカスタム語形素抽出器の使用により、語の形態的解析が適切に行われ、モデル性能が顕著に向上した。
• TF-IDFに基づくストップワードリストを用いたストップワード除去により、モデル精度が向上した。これは、低リソース環境下で言語固有のストップワードリストが有効であることを裏付けた。
• 手作業によるクリーニング後、ポジティブレビューが4,500件、ネガティブレビューが3,710件で、合計8,210件のラベル付け済みレビューが含まれる。