[論文レビュー] QAmeleon: Multilingual QA with Only 5 Examples

Priyanka Agrawal, Chris Alberti+7 more|arXiv (Cornell University)|Nov 15, 2022

Natural Language Processing Techniques被引用数 10

ひとこと要約

QAmeleonは、各言語ごとに5つのアノテート済み例のみを用いて、few-shotでプロンプトチューニングする手法を提案し、多言語QAデータを生成する。大規模な事前学習済み言語モデルを微調整して高品質なQAペアを合成することで、英語専用モデルと完全に監視付きモデルの間の性能差の60％以内の性能を達成し、低リソース環境において翻訳ベースのベースラインやゼロショット手法を上回る。

ABSTRACT

The availability of large, high-quality datasets has been one of the main drivers of recent progress in question answering (QA). Such annotated datasets however are difficult and costly to collect, and rarely exist in languages other than English, rendering QA technology inaccessible to underrepresented languages. An alternative to building large monolingual training datasets is to leverage pre-trained language models (PLMs) under a few-shot learning setting. Our approach, QAmeleon, uses a PLM to automatically generate multilingual data upon which QA models are trained, thus avoiding costly annotation. Prompt tuning the PLM for data synthesis with only five examples per language delivers accuracy superior to translation-based baselines, bridges nearly 60% of the gap between an English-only baseline and a fully supervised upper bound trained on almost 50,000 hand labeled examples, and always leads to substantial improvements compared to fine-tuning a QA model directly on labeled examples in low resource settings. Experiments on the TyDiQA-GoldP and MLQA benchmarks show that few-shot prompt tuning for data synthesis scales across languages and is a viable alternative to large-scale annotation.

研究の動機と目的

• 高品質な多言語QAデータセットの不足、特に低リソース言語においての課題に対処すること。
• 大規模なアノテーションに依存するのを減らすために、合成データ生成を活用すること。
• 翻訳に起因するアーチファクトに依存せずに、低リソース環境における多言語QAパフォーマンスを向上させること。
• 多言語QAにおけるデータ合成にプロンプトチューニングの有効性を評価すること。
• 完全なデータセットアノテーションや翻訳ベースの学習に代わる、スケーラブルでデータ効率の良い代替手法を提供すること。

提案手法

• 各ターゲット言語ごとに5つのゴールラベル付き例のみを用いて、大規模な事前学習済み言語モデル（PLM）をプロンプトチューニングする。
• プロンプトチューニング済みPLMを用いて、質問、回答、およびソースの本文を含む、自動的な合成多言語QAデータを生成する。
• PLMが生成した合成データで質問応答モデルを微調整する。
• ゼロショットおよびfew-shot一般化を向上させるために、英語の指示とターゲット言語の例を組み合わせた多言語プロンプト設計を採用する。
• 主に正確一致（EM）を指標として、TyDiQA-GoldPおよびMLQAベンチマークでパフォーマンスを検証する。
• 公開前に人間のレーティング担当者が生成データを査読し、攻撃的または偏見のあるコンテンツをフィルタリングする。

実験結果

リサーチクエスチョン

• RQ1 各言語ごとに5つの例でのプロンプトチューニングが、強力な多言語QAパフォーマンスを実現する合成QAデータを生成できるか？
• RQ2 低リソース多言語環境において、翻訳ベースの微調整（例：translate-train）と比較してQAmeleonはどのように性能を発揮するか？
• RQ3 プロンプトチューニング済みPLMによる合成データ生成は、ゼロショットまたはプロンプト設計ベースのベースラインを上回るか？
• RQ4 QAmeleonのパフォーマンスは、多様な言語やデータセットにおいてどのようにスケーリングされるか？
• RQ5 few-shot例の数が、合成データの品質および下流QAの正確性に与える影響は何か？

主な発見

• QAmeleonは、TyDiQA-GoldPにおいて英語専用ベースライン比で12%の絶対的精度向上を達成し、強力なfew-shot性能を示した。
• 約50,000件の手作業ラベル付き例で訓練された完全に監視付きモデルと英語専用ベースラインの間の性能差のほぼ60％を埋め合わせた。
• TyDiQA-GoldPにおいて、翻訳ベースの競合ベースラインより4%の絶対的EMで優れた性能を示し、translate-trainアプローチを上回ることを実証した。
• 手作業で作成した例を50から100に増やしても、パフォーマンスに顕著な向上が見られず、最小限のアノテーションで高いデータ効率を示した。
• 低リソース言語において、直接微調整よりも一貫して性能が向上し、同じfew-shot例を用いたプロンプト設計ベースラインをも上回った。
• リリースされた合成データセットには、査読済みの高品質な例が47,173件含まれており、実験で使用されたデータの89％が安全で再現可能であることを保証した。