[論文レビュー] Cascading Adaptors to Leverage English Data to Improve Performance of Question Answering for Low-Resource Languages

Hariom A. Pandya, Bhavik Ardeshna+1 more|arXiv (Cornell University)|Dec 18, 2021

Topic Modeling被引用数 5

ひとこと要約

本論文は、多言語トランスフォーマー（XLM-RoBERTaおよびmBERT）に段階的な言語アダプタとタスクアダプタを適用することで、英語データを活用して低リソース言語における質問応答性能を向上させる手法を提案する。言語アダプタ（言語的適応用）とタスクアダプタ（QA特化のファインチューニング用）を段階的に積み重ねることで、特にゼロショットクロスリンガル転送において顕著な性能向上を達成し、ヒンディ語やベトナム語などの低リソース言語においてベースラインモデル比でF1スコアが最大15.2%向上した。

ABSTRACT

Transformer based architectures have shown notable results on many down streaming tasks including question answering. The availability of data, on the other hand, impedes obtaining legitimate performance for low-resource languages. In this paper, we investigate the applicability of pre-trained multilingual models to improve the performance of question answering in low-resource languages. We tested four combinations of language and task adapters using multilingual transformer architectures on seven languages similar to MLQA dataset. Additionally, we have also proposed zero-shot transfer learning of low-resource question answering using language and task adapters. We observed that stacking the language and the task adapters improves the multilingual transformer models' performance significantly for low-resource languages.

研究の動機と目的

• 限定的なアノテート済みデータによる低リソース言語における質問応答の性能ギャップを是正すること。
• 段階的な言語アダプタとタスクアダプタが多言語トランスフォーマーモデルにおけるクロスリンガル転送を改善できるかどうかを調査すること。
• アダプタを事前学習した状態で、アラビア語、中国語、ベトナム語を含む多様な言語にわたるゼロショット転送の有効性を評価すること。
• HoulsbyとPfeifferの2種類のアダプタアーキテクチャとアダプタのスタッキング戦略を比較し、最適な構成を同定すること。
• 言語固有の書記体系（例：アラビア語の右から左への書字、中国語の表意文字）がモデルの一般化性能に与える影響を分析すること。

提案手法

• MLQAとXQuADのQAデータセットを統合し、XLM-RoBERTa baseとmBERTを、両データセットのトレーニングデータを活用してファインチューニングすることで、低リソース言語の例が十分に含まれるようにする。
• マスクド言語モデル（MLM）目的で事前学習された言語アダプタを適用し、多言語モデルを特定の言語に適応させる。
• 言語アダプタをタスクアダプタの前に段階的にスタックすることで、ソース言語アダプタをターゲット言語アダプタに置き換えることでゼロショット転送を実現する。
• AdapterHubから事前学習済みのタスクアダプタ（SQuAD1）を活用し、ベースモデルの重みを固定したままアダプタの重みのみをファインチューニングする。
• HoulsbyとPfeifferの2種類のアダプタアーキテクチャを実装し、7言語にわたる下流性能への影響を評価する。
• ターゲット言語データを再トレーニングせずに、ソース言語アダプタをターゲット言語アダプタに置き換えることで、ゼロショットクロスリンガル転送を実施する。

実験結果

リサーチクエスチョン

• RQ1 英語トレーニングデータのみを用いて、段階的な言語アダプタとタスクアダプタを組み合わせることで、低リソース言語における質問応答性能を顕著に向上させられるか？
• RQ2 アダプタアーキテクチャの選択（Houlsby対Pfeiffer）が、低リソース言語および高リソース言語における性能に与える影響はいかほどか？
• RQ3 書記体系の特徴（例：アラビア語の右から左への書字、中国語の表意文字）が、アダプタベースモデルの一般化にどの程度影響を及ぼすか？
• RQ4 言語アダプタとタスクアダプタをスタックすることにより、単独で使用する場合よりも性能が向上するか？
• RQ5 マルチタスクアダプタ（MAD-X）のファインチューニングは、タイプオロジカルに多様な言語を含む低リソース環境下で、性能向上にどの程度効果を発揮するか？

主な発見

• 言語アダプタとタスクアダプタをスタックすることで、ヒンディ語やベトナム語などの低リソース言語において、段階的アダプタを適用しないベースラインモデル比でF1スコアが最大15.2%向上した。
• 言語アダプタのみの設定が、ヒンディ語、ドイツ語、スペイン語、中国語、英語の5言語においてタスクアダプタのみの設定を上回った。これは、言語的適応の恩恵が顕著であることを示している。
• アラビア語は全言語の中で最も低い性能を示した。これは、ベースモデルのトレーニング分布が左から右への書字（LTR）であるのに対し、アラビア語が右から左への書字（RTL）であるため、顕著な違いが生じたためと推測される。
• 中国語は他の低リソース言語と比較して性能が低下した。これは、縦書き・横書き・右から左へのレイアウトなど、柔軟な書記体系がモデルを混乱させる可能性があるためと推測される。
• アダプタアーキテクチャの選択（Houlsby対Pfeiffer）は、大多数の言語において性能に顕著な影響を及ぼさなかった。これは、アダプタ設計の堅牢性を示している。
• マルチタスクアダプタ（MAD-X）のファインチューニングは、多様な言語にわたるクロスリンガル質問応答において、最先端のモデルを上回った。これは、ゼロショット転送に有効であることを確認した。