[論文レビュー] XLM-T: A Multilingual Language Model Toolkit for Twitter.

Francesco Barbieri, Luis Espinosa-Anke+1 more|arXiv (Cornell University)|Apr 25, 2021

Topic Modeling参考文献 38被引用数 32

ひとこと要約

XLM-Tは、30種類以上の言語で数百万件のツイートを用いて事前学習された多言語言語モデルツールキットを提供し、強力なXLM-Rベースラインと8か国語での統一されたセンチメント分析データセットを備えています。これにより、下流タスクにおける簡単な微調整が可能となり、多言語NLPにおけるツイッターの標準化が進みます。

ABSTRACT

Language models are ubiquitous in current NLP, and their multilingual capacity has recently attracted considerable attention. However, current analyses have almost exclusively focused on (multilingual variants of) standard benchmarks, and have relied on clean pre-training and task-specific corpora as multilingual signals. In this paper, we introduce XLM-T, a framework for using and evaluating multilingual language models in Twitter. This framework features two main assets: (1) a strong multilingual baseline consisting of an XLM-R (Conneau et al. 2020) model pre-trained on millions of tweets in over thirty languages, alongside starter code to subsequently fine-tune on a target task; and (2) a set of unified sentiment analysis Twitter datasets in eight different languages. This is a modular framework that can easily be extended to additional tasks, as well as integrated with recent efforts also aimed at the homogenization of Twitter-specific datasets (Barbieri et al. 2020).

研究の動機と目的

• ツイッターNLPにおける標準化された多言語ベンチマークの欠如に応えるために、統一された評価フレームワークを構築すること。
• 30か国語以上にわたる多様で現実世界のツイッターデータを用いて事前学習された強力な多言語ベースラインモデルを提供すること。
• 一貫性があり高品質なツイッターデータセットを用いて、下流タスクにおける多言語モデルの微調整を容易にすること。
• モジュラーで拡張可能なフレームワークを通じて、ツイッター固有のNLPリソースの統合を支援すること。
• ノイズの多いソーシャルメディアテキストからの多言語信号を活用することで、多言語間の転移性能を向上させること。

提案手法

• 3000万件を超える多言語ツイートを用いて、多言語XLM-Rモデルを事前学習し、多言語間表現を捉えること。
• 一貫したアノテーションおよび前処理基準を用いて、8か国語での統一されたセンチメント分析データセットを構築すること。
• センチメント分析を超える新しいタスクへの容易な拡張を可能にするモジュラーなフレームワークを設計すること。
• ターゲットの下流タスクにおける事前学習モデルの微調整用のスターター・コードを提供すること。
• データとモデルのコンponentsを整列させ、言語やタスクをまたいで一貫した評価を可能にすること。
• 既存の取り組み（例：Barbieri et al. 2020）を活用して、ツイッター固有のNLPデータセットを均一化すること。

実験結果

リサーチクエスチョン

• RQ1 ツイッターのデータで微調整された多言語XLM-Rモデルは、低リソース言語および高リソース言語の両方でどの程度一般化するか？
• RQ2 統一された多言語ツイッター・データセットは、言語間でのモデル性能の向上と比較可能性の向上にどの程度寄与するか？
• RQ3 標準化されたフレームワークは、多言語ツイッターNLPにおけるデータおよび評価の不整合性をどの程度軽減できるか？
• RQ4 事前学習済みXLM-Tモデルは、下流のツイッターNLPタスクにおけるベースラインとしてどの程度有効か？
• RQ5 ノイズの多い現実世界のソーシャルメディアテキストにおける多言語事前学習により、どの程度のパフォーマンス向上が得られるか？

主な発見

• XLM-Tフレームワークは、30か国語以上にわたる3000万件以上のツイートを用いて事前学習された強力な多言語ベースラインモデルを提供し、効果的な転移学習を可能にします。
• 8か国語での統一されたセンチメント分析データセットにより、一貫した多言語間評価が可能となり、ツイッターNLPにおけるデータの不均一性が低減されます。
• フレームワークは、事前学習モデルを新しいタスクに容易に微調整できるようにし、再現性とスケーラビリティを向上させます。
• 現実世界の多言語ツイッター・データの使用により、リソースが限られた言語環境でもモデルの頑健性が向上します。
• モジュラー設計により、既存の取り組みを統合してツイッターNLPデータセットや評価プロトコルの標準化が可能になります。
• ノイズの多いソーシャルメディアからの多言語事前学習信号を活用することで、フレームワークは多言語間パフォーマンスの向上を促進します。