[論文レビュー] yosm: A new yoruba sentiment corpus for movie reviews

Iyanuoluwa Shode, David Ifeoluwa Adelani+1 more|arXiv (Cornell University)|Apr 20, 2022

Sentiment Analysis and Opinion Mining被引用数 12

ひとこと要約

この論文は、英語からヨルーバ語に手作業で翻訳された、Nollywood映画レビュー向けの最初のヨルーバ語センチメントコーパスYOSMを紹介する。AfriBERTa や mBERT といった最先端のモデルを微調整および転移学習で評価し、ヨルーバ語データセットで最大87.2のF1スコアを達成した。人為的アノテーションデータが不足する低リソース言語の自然言語処理において、機械翻訳されたレビューが効果的に支援できることを示している。

ABSTRACT

A movie that is thoroughly enjoyed and recommended by an individual might be hated by another. One characteristic of humans is the ability to have feelings which could be positive or negative. To automatically classify and study human feelings, an aspect of natural language processing, sentiment analysis and opinion mining were designed to understand human feelings regarding several issues which could affect a product, a social media platforms, government, or societal discussions or even movies. Several works on sentiment analysis have been done on high resource languages while low resources languages like Yoruba have been sidelined. Due to the scarcity of datasets and linguistic architectures that will suit low resource languages, African languages "low resource languages" have been ignored and not fully explored. For this reason, our attention is placed on Yoruba to explore sentiment analysis on reviews of Nigerian movies. The data comprised 1500 movie reviews that were sourced from IMDB, Rotten Tomatoes, Letterboxd, Cinemapointer and Nollyrated. We develop sentiment classification models using the state-of-the-art pre-trained language models like mBERT and AfriBERTa to classify the movie reviews.

研究の動機と目的

• アフリカ語、特にヨルーバ語の映画レビュー分野におけるセンチメント分析リソースの不足に応えること。
• Nollywood映画レビュー向けに、最初の手作業でキュレートされたヨルーバ語センチメントコーパス（YOSM）を構築すること。
• mBERT や AfriBERTa といった事前学習済み言語モデルが低リソースのヨルーバ語テキストでどれほど性能を発揮するかを評価すること。
• 英語のNollywoodレビューと機械翻訳されたヨルーバ語データを用いた転移学習の有効性を調査すること。
• 自動機械翻訳（例：Google翻訳）が、低リソース環境における学習データの代理としてどれほど有効であるかを評価すること。

提案手法

• IMDB、Rotten Tomatoes、Letterboxd、Cinemapointer、Nollyratedの5つのソースから、1,500件のバランスの取れた映画レビューを収集した。
• ネイティブのヨルーバ語話者による手作業による翻訳を通じて、1,500件の英語レビューをヨルーバ語に翻訳し、高品質な並列データセットを構築した。
• モデル評価のため、トレーニング用800件、開発用200件、テスト用500件にデータセットを分割した。
• mBERT、AfriBERTa、およびmBERTに言語適応的微調整（LAFT）を適用したモデルを、ヨルーバ語データセット上で微調整した。
• IMDB や英語のNollywoodレビューを含む、ゼロショットおよびフェイシングショットのクロスリンガル転移を評価した。
• Google翻訳の出力品質を評価するためにBLEUスコアを用い、3.36という低スコアが得られた。

実験結果

リサーチクエスチョン

• RQ1 少量のアノテーション付きデータセットを用いて、最先端の事前学習済み言語モデルが低リソースのヨルーバ語センチメント分類タスクで高いパフォーマンスを発揮できるか？
• RQ2 ヨルーバ語センチメント分析において、Hollywoodレビュー（例：IMDB）と比較して、英語のNollywoodレビューからの転移学習はどれほど効果的か？
• RQ3 機械翻訳されたヨルーバ語レビューが、低リソースNLPタスクにおける人為的アノテーションデータの代替としてどれほど実用的か？
• RQ4 言語適応的微調整（LAFT）を用いてmBERTを微調整することで、標準的な微調整に比べてヨルーバ語センチメント分類のパフォーマンスが向上するか？
• RQ5 人為的アノテーション付きヨルーバ語レビューと自動翻訳されたレビューとの間で、センチメント分類のパフォーマンスギャップはどの程度か？

主な発見

• AfriBERTaをYOSMで微調整した結果、F1スコア87.2を達成し、低リソースのヨルーバ語センチメント分類タスクで優れた性能を示した。
• mBERT+LAFTはF1スコア86.2を達成し、標準的なmBERT（F1スコア83.2）を上回った。これは、ヨルーバ語向けに言語適応的微調整が有効であることを示している。
• 英語のNollywoodレビュー（en）からの転移学習は、IMDB（imdb/en）からのものよりも優れており、F1スコアで2.4～5.5の向上を示した。これは、ドメイン特化した転移がより効果的であることを示している。
• 機械翻訳されたヨルーバ語レビュー（yo:MT）を用いた学習ではF1スコア77.1を達成し、英語レビューと組み合わせた（en+yo:MT）場合には77.9にまで向上した。これは、自動翻訳が実用的に有効であることを示している。
• 人為的翻訳と機械翻訳の間でBLEUスコアが3.36にとどまったことから、Google翻訳の出力品質は低いと判明したが、それでも依然として転移学習を支援できた。
• 最高のパフォーマンスは、YOSMで微調整されたAfriBERTaが達成し、mBERTおよびmBERT+LAFTを上回った。これは、アフリカ語で事前学習されたモデルの利点が顕著に表れている。