[論文レビュー] Polyglot Prompt: Multilingual Multitask PrompTraining

Jinlan Fu, See-Kiong Ng+1 more|arXiv (Cornell University)|Apr 29, 2022

Topic Modeling被引用数 7

ひとこと要約

この論文では、49の言語で分類、質問応答、要約などの多様な自然言語処理（NLP）タスクを、プロンプト工学を用いて統合する、モノリシックな多言語マルチタスクフレームワーク「Polyglot Prompting」を紹介する。タスクに依存しないプロンプトを用いて1つのエンコーダ・デコーダモデルを訓練することで、言語やタスクをまたいで強力なゼロショット転移性能を達成し、タスクや言語に特化したモジュールを用いずに、クロスリンガルおよびクロスタスク知識蒸留が可能であることを示している。

ABSTRACT

This paper aims for a potential architectural improvement for multilingual learning and asks: Can different tasks from different languages be modeled in a monolithic framework, i.e. without any task/language-specific module? The benefit of achieving this could open new doors for future multilingual research, including allowing systems trained on low resources to be further assisted by other languages as well as other tasks. We approach this goal by developing a learning framework named Polyglot Prompting to exploit prompting methods for learning a unified semantic space for different languages and tasks with multilingual prompt engineering. We performed a comprehensive evaluation of 6 tasks, namely topic classification, sentiment classification, named entity recognition, question answering, natural language inference, and summarization, covering 24 datasets and 49 languages. The experimental results demonstrated the efficacy of multilingual multitask prompt-based learning and led to inspiring observations. We also present an interpretable multilingual evaluation methodology and show how the proposed framework, multilingual multitask prompt training, works. We release all datasets prompted in the best setting and code.

研究の動機と目的

• 概念的に異なるNLPタスクと複数の言語を、1つのパラメータフリーなフレームワークに統合する課題に対処すること。
• 関連するタスクからの高リソースデータセットが、共有学習を通じて低リソース環境でのパフォーマンスを向上させるかどうかを調査すること。
• 言語的多様性およびデータセットの特性が、言語やタスクをまたいでモデルの一般化性能に与える影響を調査すること。
• 異なるタスク、言語、データセットにおいてモデルの挙動を分析可能な解釈可能な評価手法を開発すること。
• クロスリンガルおよびクロスタスク転移パフォーマンスを向上させる有効な多言語プロンプト設計戦略を特定すること。

提案手法

• シーケンス分類、生成、自然言語推論などの多様なタスクをサポートする、エンコーダ・デコーダの事前学習済み言語モデルアーキテクチャを採用する。
• タスク固有のプロンプトテンプレートを用いて、すべてのタスクを事前学習の目的関数に再定式化し、タスク固有のヘッドを用いずに統一的な学習を可能にする。
• 各タスクに対して、5つのクロスリンガル（英語）プロンプトテンプレートを設計し、入力フィールド（例：質問、文脈、文のペア）のプレースホルダーを含める。
• 49言語と6つのタスクをカバーする24のデータセットを用いて、共有パラメータを用いたマルチタスク学習で、1つの統合モデルを訓練する。
• 言語ごとに一貫したプロンプト構造を維持しながら、ターゲット言語に適した言語形態に適応することで、多言語プロンプト工学を適用する。
• 言語内学習、クロスリンガルゼロショット転送、およびクロスタスク・クロスリンガルゼロショット転送を含む、統一された評価プロトコルを用いる。

実験結果

リサーチクエスチョン

• RQ1 タスクや言語に特化したモジュールを用いずに、異なる言語からの異なるタスクが、モノリシックなフレームワーク内で互いに利益を受けることができるか？
• RQ2 高リソースのデータセットを導入することで、マルチタスク学習を通じて低リソース環境でのパフォーマンスが向上するか？
• RQ3 データセットおよび言語の特性が、統合フレームワークのパフォーマンスに与える影響は何か？
• RQ4 多言語マルチタスクプロンプト学習において、効果的なプロンプトとは何か、特にテンプレートの一貫性と言語選択の観点から。
• RQ5 このフレームワークは、タスクおよび言語をまたいで強力なゼロショット転送パフォーマンスを達成できるか？

主な発見

• Polyglot Promptingフレームワークは、49言語と6つの多様なNLPタスクにおいて強力なゼロショット転送パフォーマンスを達成し、概念的に異なるタスクを効果的に統合できることを示している。
• 17の高リソースデータセットをマルチタスクフレームワークに導入することで、特に質問応答や自然言語推論などのタスクで、低リソース言語のパフォーマンスが顕著に向上した。
• モデルは強力なクロスリンガル転送を示しており、系統的・言語的類似性の高い言語で高いパフォーマンスを発揮し、一貫した構造を持つ多言語プロンプトテンプレートを用いることで結果が向上した。
• プロンプトテンプレート設計は顕著な影響を持つ：明確なタスク指示と一貫したフォーマットを備えたテンプレートは、不一致や曖昧なテンプレートよりも優れた一般化性能を示した。
• 解釈可能な評価手法により、タスクタイプごとのパフォーマンスのばらつきが明らかになった。分類およびシーケンスラベル付けタスクは生成タスクよりも、特に低リソース環境でより高い恩恵を受けていた。
• 特にスワヒリ語、タイ語、ウルドゥ語などの低リソース言語において、強力なベースラインを上回るクロスリンガルゼロショット転送パフォーマンスを達成しており、低リソースNLP応用分野における潜在的価値を示している。