[論文レビュー] Task-Specific Pre-Training and Cross Lingual Transfer for Code-Switched Data

Akshat Gupta, Sai Krishna Rallabandi+1 more|arXiv (Cornell University)|Feb 24, 2021

Natural Language Processing Techniques参考文献 10被引用数 7

ひとこと要約

本稿は、タミル語-英語およびマラヤーラム語-英語のコードスイッチドセンチメント分析において、タスク固有の事前学習とクロスリンガル転移を比較している。BERTベースのモデルを用いて、ターゲット言語のデータに対して英語BERTを微調整する（タスク固有の事前学習）方が、mBERT や XLM-RoBERTa といった多言語モデルを活用するのと比較して、特にゼロショットおよび教師あり設定において優れていることが判明した。これは、多言語モデルにおけるドメインおよびスクリプトの不一致に起因する。

ABSTRACT

Using task-specific pre-training and leveraging cross-lingual transfer are two of the most popular ways to handle code-switched data. In this paper, we aim to compare the effects of both for the task of sentiment analysis. We work with two Dravidian Code-Switched languages - Tamil-Engish and Malayalam-English and four different BERT based models. We compare the effects of task-specific pre-training and cross-lingual transfer and find that task-specific pre-training results in superior zero-shot and supervised performance when compared to performance achieved by leveraging cross-lingual transfer from multilingual BERT models.

研究の動機と目的

• コードスイッチドドゥラヴィディアン言語におけるセンチメント分析において、タスク固有の事前学習とクロスリンガル転移の有効性を評価・比較すること。
• BERTベースのモデルを用いて、タミル語-英語およびマラヤーラム語-英語のコードスイッチドセンチメントデータセットに対して強力なベースライン性能を確立すること。
• 多言語BERTモデルが、非ラテン文字のコードスイッチドデータに効果的に知識を転送できるかどうかを調査すること。
• 言語的に近いコードスイッチド言語（例：ヒングリッシュ）で微調整することで、ゼロショット転移性能が向上するかどうかを検討すること。
• クロスリンガル転移とタスク固有の事前学習を組み合わせることで、一般化性能が向上するかどうかを評価すること。

提案手法

• タスク固有の事前学習のため、タミル語-英語およびマラヤーラム語-英語のデータセットに対して、モノリンガル英語BERTモデル（TweetEval）を微調整した。
• ゼロショットおよび少数ショット転移のため、多言語BERTモデル（mBERT および XLM-RoBERTa）をコードスイッチドデータに適用した。
• クロスリンガル転移のため、ヒングリッシュ Sentimix データセットを用いて中間的な微調整を実施し、その後ターゲット言語に適応した。
• 3クラスのセンチメント分類において、早期停止および学習率スケジューリングを用いた標準的なBERT微調整手順を適用した。
• すべての設定において、開発セットおよびテストセットでの精度、再現率、F1スコアを用いてモデル性能を比較した。
• 言語間のゼロショット転移を通じて、モデルの挙動を分析し、一般化性能および言語的近接性の影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 コードスイッチドデータにおけるセンチメント分析において、タスク固有の事前学習が多言語BERTモデルからのクロスリンガル転移を上回る性能を示すか？
• RQ2 英語BERTモデルからのゼロショット転移は、ターゲットデータがドメイン外（例：YouTubeコメント vs. Twitterデータ）である場合でも効果的か？
• RQ3 言語的に近いコードスイッチド言語（例：ヒングリッシュ）でモノリンガルモデルを微調整することで、タミル語-英語およびマラヤーラム語-英語データセットにおけるゼロショット性能が向上するか？
• RQ4 クロスリンガル転移とタスク固有の事前学習を組み合わせることで、統計的に有意な性能向上が得られるか？
• RQ5 多言語BERTモデルが、ラテン文字でないローマ字表記ドゥラヴィディアンスクリプトのコードスイッチドデータでは、なぜ性能を発揮できないのか？

主な発見

• ターゲット言語のコードスイッチドデータに対するタスク固有の事前学習は、常に多言語BERTモデルからのクロスリンガル転移を上回った。TweetEvalモデルは、マラヤーラム語-英語で77%のF1スコア、タミル語-英語で76%のF1スコアを達成した。
• 英語TweetEvalモデルのゼロショット性能は、ヒングリッシュデータセットで最高（F1スコア77%）であり、Twitterデータとより良いドメイン適合性があることを示唆しているが、YouTubeベースのタミル語およびマラヤーラム語データセットでは低かった。
• 最も良いゼロショット結果は、TweetEvalモデルが言語的に近いコードスイッチド言語で微調整された場合に得られた。具体的には、マラヤーラム語で微調整するとタミル語-英語の性能が向上し、ヒングリッシュで微調整するとマラヤーラム語-英語の性能が向上した。
• ターゲット言語に適応する前に、TweetEvalモデルをヒングリッシュで1エポック微調整したところ、わずかな向上（タミル語-英語でF1スコア76%から77%、マラヤーラム語-英語で77%から78%）が見られたが、これらの向上は統計的に有意ではなかった。
• 多言語BERTモデル（mBERT および XLM-RoBERTa）は、ローマ字表記のタミル語およびマラヤーラム語トークンの表現が不足しており、コードスイッチド事前学習データが存在しないため、性能が低かった。
• 本研究は、タスク固有の事前学習を用いて、新しいベースラインF1スコア（タミル語-英語：76%、マラヤーラム語-英語：78%）を確立した。今後の比較に使用可能である。