[論文レビュー] Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond

Xin Li, Lidong Bing+3 more|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 70被引用数 25

ひとこと要約

本稿では、多言語翻訳データからのタスク固有の知識を言語別ウォームアップフェーズで蒸留し、その後ソース言語データで微調整する「ウォームアップ・トゥ・アダプテーション」フレームワークであるMultilingual Warm-Start (Mtl-Ws) を提案する。この手法は、命名抽出(NER)、SRL、ABSAタスクにおいて9つのターゲット言語でゼロショットおよび標準的な翻訳ベース手法を上回り、タスク固有の設計を必要とせずに一貫した向上を示す。

ABSTRACT

Cross-lingual adaptation with multilingual pre-trained language models (mPTLMs) mainly consists of two lines of works: zero-shot approach and translation-based approach, which have been studied extensively on the sequence-level tasks. We further verify the efficacy of these cross-lingual adaptation approaches by evaluating their performances on more fine-grained sequence tagging tasks. After re-examining their strengths and drawbacks, we propose a novel framework to consolidate the zero-shot approach and the translation-based approach for better adaptation performance. Instead of simply augmenting the source data with the machine-translated data, we tailor-make a warm-up mechanism to quickly update the mPTLMs with the gradients estimated on a few translated data. Then, the adaptation approach is applied to the refined parameters and the cross-lingual transfer is performed in a warm-start way. The experimental results on nine target languages demonstrate that our method is beneficial to the cross-lingual adaptation of various sequence tagging tasks.

研究の動機と目的

• 命名抽出(NER)、SRL、ABSAなどの細粒度シーケンスタギングタスクにおけるゼロショットおよび翻訳ベースのクロスリンガル適応手法の有効性を再評価すること。
• 特に語順のずれやアライメントギャップによるスパンレベルのラベルプロジェクションの欠落という問題に起因する、既存の翻訳ベース手法の限界を解消すること。
• 並列単言語コーパスを必要とせずに、機械翻訳から得られる多言語的で擬似ラベル付きの学習データを活用するより効果的な戦略の開発。
• 微調整の前に、翻訳データからタスク固有の知識を蒸留するウォームアップ機構の提案により、モデルの一般化性能と収束性の向上。
• ゼロショットと翻訳ベース適応の長所を組み合わせたハイブリッドアプローチが、多様な言語およびタスクで優れた一貫性のあるパフォーマンスを達成できることの実証。

提案手法

• 単語レベルのアライメントをスパンレベルのアライメントに集約するスパン対スパンマッピング戦略を提案し、語順のずれや欠落アライメントに起因する誤りを低減することで、擬似ラベルのプロジェクションをより強力に保証。
• 各ターゲット言語ごとに、小さな擬似ラベル付き翻訳データのサブセット上でモデルを事前に訓練することで、タスク固有の知識を蒸留する多言語的ウォームアップメカニズムを導入。
• 「ウォームアップ・トゥ・アダプテーション」フレームワークを適用：翻訳データでのウォームアップ後、ソース言語のラベル付きデータで微調整することで、ゼロショット性を維持しつつ性能を向上。
• mBERT や XLM-R などの多言語事前学習言語モデル(mPTLMs) をバックボーンとして採用し、それらのクロスリンガル表現を活用。
• 二段階の訓練プロセスを採用：まず翻訳データ上で言語固有のウォームアップにより多言語的知識を注入し、次にソースデータ上で標準的な微調整を実施してターゲットタスクに適応。
• 個々の単語ではなく、アラインされたスパンを介してラベルを伝搬するヒューリスティックなスパンアライメントメカニズムを採用し、ラベルプロジェクションのロバスト性を向上。

実験結果

リサーチクエスチョン

• RQ1 命名抽出(NER)、SRL、ABSAなどの細粒度シーケンスタギングタスクにおいて、翻訳ベース手法はゼロショット手法を上回るか？
• RQ2 語順のずれやアライメントギャップの課題を緩和するためのロバストなラベルプロジェクションメカニズムは、クロスリンガルシーケンスタギングにおいて有効か？
• RQ3 ソースデータでの微調整の前に翻訳データでウォームアップフェーズを設けることで利点が得られ、収束性およびパフォーマンスにどのように影響を与えるか？
• RQ4 ゼロショットと翻訳ベース適応の長所を組み合わせたハイブリッドアプローチは、複数の言語およびタスクでより優れた一貫性のある結果を達成できるか？
• RQ5 F1スコアおよびトレーニング効率の観点から、提案されたMtl-Wsフレームワークは標準的な適応ベースラインと比べてどのように差をつけるか？

主な発見

• スパン対スパンマッピング戦略はラベルプロジェクションのロバスト性を顕著に向上させ、スペイン語NERにおいて、単語対単語マッピングと比較してmBERTで10.71ポイント、XLM-Rで12.97ポイントのF1スコア低下を低減した。
• 高品質な機械翻訳を使用しても、翻訳ベース手法は大多数のシーケンスタギングタスクでゼロショット適応を下回る結果に留まり、現在のデータ活用の限界を示している。
• Mtl-Wsフレームワークは、3つの多様なシーケンスタギングタスク（NER、SRL、ABSA）および9つのターゲット言語で一貫したパフォーマンス向上を達成した。
• ウォームアップ機構により収束が加速し、mBERTおよびXLM-Rの両方で初期エポックにおいてトレーニング進捲りが速くなった。これは計算リソースが限られた環境において特に有益であった。
• 提案手法は、評価されたすべてのタスクおよび言語でゼロショットおよび標準的な翻訳ベースベースラインを上回り、翻訳データからの知識蒸留の有効性を実証した。
• Mtl-Wsの優位性は、mBERTおよびXLM-Rという異なるmPTLMsにおいて一貫しており、バックボーンアーキテクチャの選択に対して一般化可能でロバストであることが示された。