[論文レビュー] UBC ARC Sockeye

UBC Advanced Research Computing|arXiv (Cornell University)|Jan 1, 2019

Natural Language Processing Techniques被引用数 9

ひとこと要約

本稿では、1つの短いメッセージから都市レベルの細分化されたアラビア語マイクロバリエーション（マイクロダイアレクト）を予測する新しいタスクであるマイクロダイアレクト識別（MDI）を紹介する。本稿では、空間的および言語的手がかりを組み込んだ新規のマルチタスク学習設定を用いて微調整された多言語マスク言語モデルであるMARBERTを提案し、都市レベルのダイアレクト予測で9.9%のF1スコアを達成した。これは多数クラスベースラインよりも約76倍優れている。また、複数の下流NLPタスクにおいて最先端の性能を示した。

ABSTRACT

Although the prediction of dialects is an important language processing task, with a wide range of applications, existing work is largely limited to coarse-grained varieties. Inspired by geolocation research, we propose the novel task of Micro-Dialect Identification (MDI) and introduce MARBERT, a new language model with striking abilities to predict a fine-grained variety (as small as that of a city) given a single, short message. For modeling, we offer a range of novel spatially and linguistically-motivated multi-task learning models. To showcase the utility of our models, we introduce a new, large-scale dataset of Arabic micro-varieties (low-resource) suited to our tasks. MARBERT predicts micro-dialects with 9.9% F1, ~76X better than a majority class baseline. Our new language model also establishes new state-of-the-art on several external tasks.

研究の動機と目的

• 1つの短いメッセージから、アラビア語のマイクロバリエーション（都市レベルまで）を信頼性を持って予測できるかを調査すること。
• 319都市にわたるアラビア語マイクロバリエーションを網羅する、大規模かつ手作業で検証された新しいデータセットを構築すること。
• 空間的および言語的事前知識を統合した新しいマルチタスク学習フレームワークを設計・評価し、ダイアレクト識別の性能を向上させること。
• 低リソースのアラビア語マイクロバリエーション向けに、新しい最先端の言語モデルであるMARBERTを確立すること。
• マイクロダイアレクト識別が、感情分析、攻撃的言語検出、ジオロケーションなどの実世界のNLP応用において有効であることを示すこと。

提案手法

• 都市レベルのアラビア語マイクロバリエーションを1つの短いメッセージから予測することを目的とした、新しいタスク「マイクロダイアレクト識別（MDI）」を提案する。
• 多様なアラビア語方言で事前学習し、MDIに微調整された大規模なマスク言語モデル「MARBERT」を導入する。
• 言語的対比（ディグロスィア）およびコードスイッチングのインスピレーションを受けて、言語識別およびダイアレクトレベル分類を含む、補助タスクを用いたマルチタスク学習を採用する。
• 階層的なラベル付けスキームを用いて、国、都市、地域など複数の粒度でダイアレクトをモデル化する。
• ユーザーの位置情報を空間的事前知識として用い、データ品質を保証するための手作業による検証を実施する。
• トランスファー学習を用いて、マルチリンガルかつダイアレクトに敏感な表現を活用し、MARBERTを下流タスクに微調整する。

実験結果

リサーチクエスチョン

• RQ1 1つの短いメッセージから、都市レベルのアラビア語マイクロバリエーションを信頼性を持って予測できるか？
• RQ2 空間的および言語的事前知識をマルチタスク学習を通じて統合することで、マイクロダイアレクト識別性能が向上するか？
• RQ3 MARBERTのような単一の大規模言語モデルが、多様なアラビア語マイクロバリエーションに一般化し、既存のモデルを上回る性能を示せるか？
• RQ4 マイクロダイアレクト識別は、多数クラスベースラインおよび既存の最先端モデルをどの程度上回るか？
• RQ5 MARBERTは、低リソースのアラビア語マイクロバリエーションを含む他のNLPタスクに効果的に転送可能か？

主な発見

• MARBERTは都市レベルのマイクロダイアレクト識別で9.9%のF1スコアを達成し、多数クラスベースラインよりも約76倍優れている。
• 空間的および言語的補助タスクを統合した本稿で提案するマルチタスク学習設定は、単一タスクベースラインと比較してMDI性能を顕著に向上させた。
• MARBERTは、感情分析（ArSASで92.50 F1）および攻撃的言語検出（マクロF1で91.47）を含む5つの外部アラビア語NLPタスクで新しい最先端性能を樹立した。
• 319都市分のアラビア語マイクロバリエーションをカバーする本稿の新しいデータセットは、同種の中で最大規模かつ最もバランスが取れており、最も細分化された収集データである。
• ユーザーの位置情報の手作業による検証により、一時的または非現地ユーザーに起因するノイズが低減され、データ品質が確保された。
• モデルはダイアレクト間で強いゼロショットおよびフェイントショット一般化性能を示しており、低リソースのバリエーションに対する強固な表現学習が実現していることが示された。