[論文レビュー] MasakhaNEWS: News Topic Classification for African languages

David Ifeoluwa Adelani, Marek Masiak+63 more|arXiv (Cornell University)|Apr 19, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、16のアフリカ言語向けに、最も大規模なニューストピック分類データセットであるMasakhaNEWSを紹介する。このデータセットにより、構文論的に多様な言語間で自然言語処理（NLP）モデルのベンチマークが可能になる。パターン発見学習（Pattern-Exploiting Training, PET）を用いた少サンプル学習により、分類ごとにたった10件のラベル付き例での学習でも86.0のF1スコアを達成し、完全な教師あり微調整（92.6 F1）の90％以上を達成した。これは、既存のNLP技術が低リソースのアフリカ言語へも強く転送可能であることを示している。

ABSTRACT

African languages are severely under-represented in NLP research due to lack of datasets covering several NLP tasks. While there are individual language specific datasets that are being expanded to different tasks, only a handful of NLP tasks (e.g. named entity recognition and machine translation) have standardized benchmark datasets covering several geographical and typologically-diverse African languages. In this paper, we develop MasakhaNEWS -- a new benchmark dataset for news topic classification covering 16 languages widely spoken in Africa. We provide an evaluation of baseline models by training classical machine learning models and fine-tuning several language models. Furthermore, we explore several alternatives to full fine-tuning of language models that are better suited for zero-shot and few-shot learning such as cross-lingual parameter-efficient fine-tuning (like MAD-X), pattern exploiting training (PET), prompting language models (like ChatGPT), and prompt-free sentence transformer fine-tuning (SetFit and Cohere Embedding API). Our evaluation in zero-shot setting shows the potential of prompting ChatGPT for news topic classification in low-resource African languages, achieving an average performance of 70 F1 points without leveraging additional supervision like MAD-X. In few-shot setting, we show that with as little as 10 examples per label, we achieved more than 90\% (i.e. 86.0 F1 points) of the performance of full supervised training (92.6 F1 points) leveraging the PET approach.

研究の動機と目的

• 低リソースのアフリカ言語におけるニューストピック分類のためのベンチマークデータセットの不足に対処すること。
• ラテン文字以外の script を使用するアフリカ言語を含め、多言語自然言語処理モデル（LLM）の多様なアフリカ言語における評価を可能にすること。
• 低リソースのアフリカ言語へのLLMの効果的適応のための少サンプルおよびゼロサンプル学習手法の調査。
• 従来の機械学習と微調整済みLLMを用いたベースラインモデルの提供により、性能ベンチマークを確立すること。
• データおよび計算リソースの要求を低減するための、パラメータ効率的かつプロンプトベースの微調整手法の探求。

提案手法

• 公開済みのニュース記事と人手によるラベル付与を用いて、16のアフリカ言語をカバーする多言語ニューストピック分類データセット「MasakhaNEWS」を構築した。
• 従来の機械学習モデル（例：SVM、ロジスティック回帰）および微調整済み多言語LLM（例：mBERT、XLM-R）をベースラインモデルとして評価した。
• MAD-Xによるクロスリンガルのパラメータ効率的微調整を適用し、最小限のパラメータでモデルを適応させた。
• パターン発見学習（PET）を用いて、完全な微調整を伴わずに、バリエータライザーのテンプレートと少サンプルのラベル付きデータを活用した。
• API経由でGPT-3.5およびGPT-4を用いたプロンプト戦略を検討し、ゼロサンプルおよび少サンプル推論を実施した。
• SetFitおよびco:here埋め込みAPIを用いたプロンプトフリーの微調整を評価し、プロンプトなしでの性能を比較した。

Figure 1: Comparison of article content type used for training news topic classification models . We report the average across all languages when either headline or headline+text is used

実験結果

リサーチクエスチョン

• RQ1 PETのような少サンプル学習アプローチは、最小限のラベル付きデータでアフリカ言語のニューストピック分類において高い性能を達成できるか？
• RQ2 GPT-3.5/4のようなプロンプトベース手法は、特にラテン文字以外の script を使用するアフリカ言語において、微調整済みおよびパラメータ効率的手法と比べてどのように性能を発揮するか？
• RQ3 高リソース言語からのデータを用いて低リソースのアフリカ言語の微調整を行う際、クロスリンガル転送はどの程度性能向上に寄与するか？
• RQ4 既存の教師ありNLP技術は、多様な言語系統および書記体系を有するアフリカ言語に対しても、効果的に一般化可能か？
• RQ5 プロンプトフリーの微調整（例：SetFit、co:here）は、アフリカ言語のテキスト分類において、少サンプル設定でどの程度の性能に達するか？

主な発見

• 分類ごとにたった10件のラベル付き例での学習でも、PET法によりF1スコア86.0を達成し、完全な教師あり微調整（92.6 F1）の90％以上を達成した。
• PETは少サンプル設定において標準的な微調整ベースラインを上回り、50サンプルで89.9 F1を達成した。これは完全な教師ありベースラインに近く、非常に高い性能を示した。
• GPT-3.5およびGPT-4へのプロンプト入力は、特に非ラテン文字を使用するアフリカ言語においては性能が低く、このタスクにおけるゼロサンプル一般化能力に限界があることを示した。
• スワヒリ語からルガンド語へのクロスリンガル転送により、F1スコアが+9.0向上した。これは、両言語が同じバントゥ語族に属するための共通の言語的背景に起因すると考えられる。
• SetFitおよびco:here APIは、プロンプトなしでも競争力のある結果を達成した。特にSetFitは、ラベルなしデータを一切使用しない状態で、PETと同等の50サンプル性能（89.9 F1）を達成した。
• 本研究により、微調整およびパラメータ効率的適応を含む既存のNLP技術が、最小限のラベル付きデータでアフリカ言語に対しても実用的かつ効果的であることが確認された。

Figure 2: Interface of our in-house Annotation tool . Annotators can correct the pre-defined category assigned and also edit their annotation