[論文レビュー] Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor

Or Honovich, Thomas Scialom+2 more|arXiv (Cornell University)|Dec 19, 2022

Topic Modeling被引用数 5

ひとこと要約

この論文では、たった15のシード例のみを用いて、言語モデルを自動で用いて生成された自然言語の指示とそれに対応する入力/出力の組み合わせ240,670件からなるUnnatural Instructionsというデータセットを紹介する。ノイズを含んではいるが、このデータで微調整された11BパラメータのT5モデルは、T0++ や Tk-Instruct といった手作業で整備されたデータセットで微調整されたモデルを複数のベンチマークで上回り、モデルによって生成されたデータが、人的労力の大幅な削減と併せて、人間がアノテートしたデータと同等の質と多様性を達成できることを示している。

ABSTRACT

Instruction tuning enables pretrained language models to perform new tasks from inference-time natural language descriptions. These approaches rely on vast amounts of human supervision in the form of crowdsourced datasets or user interactions. In this work, we introduce Unnatural Instructions: a large dataset of creative and diverse instructions, collected with virtually no human labor. We collect 64,000 examples by prompting a language model with three seed examples of instructions and eliciting a fourth. This set is then expanded by prompting the model to rephrase each instruction, creating a total of approximately 240,000 examples of instructions, inputs, and outputs. Experiments show that despite containing a fair amount of noise, training on Unnatural Instructions rivals the effectiveness of training on open-source manually-curated datasets, surpassing the performance of models such as T0++ and Tk-Instruct across various benchmarks. These results demonstrate the potential of model-generated data as a cost-effective alternative to crowdsourcing for dataset expansion and diversification.

研究の動機と目的

• スケーラブルで人的労力が少ない、多様かつ高品質な指令微調整データセットを構築すること。
• 言語モデルによって生成されたデータが、手作業で整備された指令データセットと同等またはそれ以上の性能を発揮できるかどうかを調査すること。
• 人間の監視なしに、汎用的な指令微調整にモデル生成された指令を用いることの可能性を検討すること。
• データの多様性と創造性が、分布外のタスクにおける下流モデルの一般化性能に与える影響を評価すること。

提案手法

• 著者らは、Super-Natural Instructions から3つのシード例を用いて、事前学習済みの言語モデルにプロンプトを入力することで、64,000組の指令-入力-出力の三つ組を生成した。5つの異なるシードセットを用いて生成を繰り返した。
• 2段階の生成プロセスを適用する：まず指令と入力を生成し、その後、正確性を最大化するために決定論的に出力を生成する。
• 多様性を高めるために、同じモデルを用いて各指令を言い換え、入力と出力の内容は維持しながら表現を変化させる。
• 反復的な言い換え処理により、データセットは約240,000件に拡張され、人的介入は最小限に抑えられた。
• 性能評価は、Unnatural Instructions で11BパラメータのT5モデルを微調整し、T0++ や Tk-Instruct で微調整されたモデルと複数のベンチマークで比較することで行った。
• アブレーションスタディでは、1段階（統合）生成と2段階（分離）生成を比較し、決定論的な出力生成が性能向上に寄与することを示した。

実験結果

リサーチクエスチョン

• RQ1 言語モデルは人的労力の最小限の状態で、多様かつ高品質な指令微調整データセットを生成できるか？
• RQ2 手作業で整備された指令データセットよりも、モデルによって生成されたデータで微調整した場合、下流タスクの性能が向上するか？
• RQ3 モデルによって生成された指令の多様性と創造性は、人間がアノテートしたデータと比べてどうか？
• RQ4 生成戦略（例：1段階 vs. 2段階）がモデル性能に与える影響は何か？
• RQ5 モデルによって生成されたデータは、標準のベンチマークに含まれない分布外のタスクへの一般化を向上させられるか？

主な発見

• Unnatural Instructions で微調整した11BパラメータのT5モデルは、ベースラインモデルと比較してBIG-bench Hardベンチマークで18ポイントの向上を達成した。
• Unnatural Instructions で微調整したモデルは、LMentryベンチマークで16ポイントの向上を示し、非伝統的なNLPタスクへの一般化性能が優れていることを示している。
• ノイズを含んではいるが、生成された例の50%以上が正しく、誤りであってもしばしば指令微調整に有用な情報を含んでいる。
• 2段階生成プロセス（分離された入力と出力の生成）は、1段階の統合生成よりも、Super-Natural Instructionsの検証セットで1.7ポイントの性能向上を示した。
• Unnatural Instructions は、Super-Natural Instructions よりも顕著にタスクと表現の多様性を示しており、多くの創造的かつ非標準的なNLPタスクが含まれている。
• 性能はデータセットサイズに対して対数線形にスケールアップするため、さらにモデル生成データのスケールを拡大すれば、さらなる向上が期待できる。