[論文レビュー] Cross-Task Generalization via Natural Language Crowdsourcing Instructions

Swaroop Mishra, Daniel Khashabi+2 more|arXiv (Cornell University)|Apr 18, 2021

Mobile Crowdsensing and Crowdsourcing被引用数 5

ひとこと要約

本論文では、自然言語の指示と入力出力ペアを含む61のNLPタスクを対象とした大規模なデータセットNatural Instructionsを紹介する。このデータセットは、タスク間一般化の研究を目的としている。生成言語モデルをタスクの指示と入力で微調整することで、未学習のタスクへのゼロショット一般化性能が19%向上することを示しており、指示がタスク間転送を顕著に向上させることを示している。しかし、依然として上限性能に達していないことから、今後の向上の余地が大きいことが示唆される。

ABSTRACT

Humans (e.g., crowdworkers) have a remarkable ability in solving different tasks, by simply reading textual instructions that define them and looking at a few examples. Despite the success of the conventional supervised learning on individual datasets, such models often struggle with generalization across tasks (e.g., a question-answering system cannot solve classification tasks). A long-standing challenge in AI is to build a model that learns a new task by understanding the human-readable instructions that define it. To study this, we introduce NATURAL INSTRUCTIONS, a dataset of 61 distinct tasks, their human-authored instructions, and 193k task instances (input-output pairs). The instructions are obtained from crowdsourcing instructions used to create existing NLP datasets and mapped to a unified schema. Using this meta-dataset, we measure cross-task generalization by training models on seen tasks and measuring generalization to the remaining unseen ones. We adopt generative pre-trained language models to encode task-specific instructions along with input and generate task output. Our results indicate that models benefit from instructions when evaluated in terms of generalization to unseen tasks (19% better for models utilizing instructions). These models, however, are far behind an estimated performance upperbound indicating significant room for more progress in this direction.

研究の動機と目的

• 言語モデルが自然言語の指示から学習することで、未学習のタスクに一般化できるかどうかを調査すること。
• NLPにおけるタスク間一般化の評価のための標準的で統一されたベンチマークを構築すること。
• 異なる指示の構成要素（例：定義、例示）がモデル性能に与える影響を調査すること。
• 現在のモデルの能力と、指示ベース一般化の理論的上限との差を測定すること。

提案手法

• 著者らは、既存のクラウドソーシングデータセットから61の異なるNLPタスクにまたがる193,000件のタスクインスタンスを収集した。
• 人間が作成した指示を抽出・統合し、定義、例示、制約などのフィールドを含む一貫したスキーマに統一した。
• 入力とタスク固有の指示を条件として出力を生成するように、微調整されたBARTモデルを訓練した。
• 見出しのタスクで学習し、未見のタスクでテストすることで、タスク間一般化を評価し、ゼロショット性能を測定した。
• 人間のアノテーターが指示の構成要素の有用性を評価することで、その影響を検証した。
• モデルの予測結果に対するエラー分析を実施し、事実のコピーや答えのない質問の生成といった一般的な失敗モードを同定した。

実験結果

リサーチクエスチョン

• RQ1 言語モデルは、指示と入力出力ペアのみで学習した場合、未学習のNLPタスクに一般化できるか？
• RQ2 自然言語の指示のどの構成要素（例：定義、例示）がタスク間一般化を最も顕著に向上させるか？
• RQ3 指示ベースの学習は、標準的なデータのみによる微調整と比較して、ゼロショット一般化性能においてどのように異なるか？
• RQ4 現在のモデルの性能と、指示ベース一般化の理論的上限との間には、どの程度のギャップがあるか？

主な発見

• タスクの指示を用いて微調整したモデルは、データサンプルのみで学習したモデルと比較して、未学習タスクでの性能が19%向上した。
• 定義と例示のフィールドを含めることで、分類タスクや最小限のテキスト変更タスクにおいて、モデルの一般化性能が顕著に向上した。
• エラー分析の結果、モデルは頻繁に入力の事実をコピーや、答えのない質問を生成する傾向にあり、推論力や指示の従順性に限界があることが示された。
• 人間のアノテーターは、定義と「避けるべきこと」のフィールドが最も役立つと評価しており、これがモデル性能に与える影響と整合的であった。
• 改善は見られたが、依然としてモデルの性能は推定された上限性能から大きく離れており、指示ベース一般化における今後の進歩の余地が広く残っていることが示された。