[論文レビュー] MUFFIN: Curating Multi-Faceted Instructions for Improving Instruction-Following

Renze Lou, Kai Zhang+6 more|arXiv (Cornell University)|Dec 5, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文では、入力あたりのタスクをスケーリングするという、新しい指示従いデータセットのキュレーションパラダイムである Muffin を紹介している。この手法により、各入力に対して多様な入力側面に基づく指示を生成することで、LLM の指示従い能力が向上する。入力側面指向の指示ブレインスティングと指示マッチングを組み合わせることで、モデルのロバスト性と一般化性能が向上し、3B および 11B パラメータを持つモデルが 4 つのゼロショットベンチマークで、Scaling-Inputs や Scaling Input-Free Tasks を上回る性能を発揮する。

ABSTRACT

In the realm of large language models (LLMs), enhancing instruction-following capability often involves curating expansive training data. This is achieved through two primary schemes: i) Scaling-Inputs: Amplifying (input, output) pairs per task instruction, aiming for better instruction adherence. ii) Scaling Input-Free Tasks: Enlarging tasks, each composed of an (instruction, output) pair (without requiring a separate input anymore). However, LLMs under Scaling-Inputs tend to be overly sensitive to inputs, leading to misinterpretation or non-compliance with instructions. Conversely, Scaling Input-Free Tasks demands a substantial number of tasks but is less effective in instruction following when dealing with instances in Scaling-Inputs. This work introduces MUFFIN, a new scheme of instruction-following dataset curation. Specifically, we automatically Scale Tasks per Input by diversifying these tasks with various input facets. Experimental results across four zero-shot benchmarks, spanning both Scaling-Inputs and Scaling Input-Free Tasks schemes, reveal that LLMs, at various scales, trained on MUFFIN generally demonstrate superior instruction-following capabilities compared to those trained on the two aforementioned schemes.

研究の動機と目的

• 既存の指示従いデータセットのキュレーション手法（Scaling-Inputs および Scaling Input-Free Tasks）の限界を克服し、指示従いを向上させる新しいパラダイムを提案すること。
• 入力ごとに指示の種類を多様化させることで、モデルの入力変化への過剰依存を軽減し、一般化性能を向上させ、感度を低下させること。
• しばしば生成タスクに偏っている指示データセットにおける分類タスクと生成タスクのバランスを取ること。
• 入力側面に基づいて多様で関連性の高い指示を自動的に生成するスケーラブルなフレームワークを開発すること。
• LLM を Muffin で微調整することで、複数のベンチマークで優れた指示従いパフォーマンスが得られることを示すこと。

提案手法

• 入力ごとに複数の多様な指示を生成するという新しいデータセットキュレーションパラダイム、Scaling Tasks per Input を提案。これにより、入力出力ペアの拡張や入力フリーのタスクに依存するのではなく、入力ごとに多様な指示を生成する。
• 「インstruct ブレインスティング」を導入。これは、LLM を用いて入力の複数のテクスト的側面を特定し、それぞれの側面をプロンプトとして用いて関連する指示を生成する手法。
• 「インstruct リマッチング」を実装。既存のデータセットから高品質な指示を再利用し、LLM を用いた関連性スコアリングと出力生成により、それらを関連する入力にマッチングするリtrieval およびフィルタリングパイプライン。
• 分類タスクが不足していることを補うバランス戦略を適用し、分類タスクと生成タスクのデータセット内分布をよりバランスよく保つ。
• Muffin データセットを構築。これは、Scaling Tasks per Input パラダイムに従う最初のデータセットであり、多様で入力固有の指示-出力ペアを含む。
• 3B および 11B パラメータを持つ LLM を Muffin で微調整し、SuperNI-Test、MMLU、T0-Eval、BBH の 4 つのゼロショットベンチマークで評価。

実験結果

リサーチクエスチョン

• RQ1 入力ごとに指示を多様化させる新しいデータセットキュレーション方式が、LLM の指示従い能力を向上させることができるか？
• RQ2 Scaling Tasks per Input パラダイムは、Scaling-Inputs や Scaling Input-Free Tasks と比較して、ゼロショット一般化性能においてどのように差をつけるか？
• RQ3 入力側面指向の指示生成は、どの程度指示と入力の関連性およびタスクの多様性を向上させるか？
• RQ4 指示データセットにおける分類タスクと生成タスクのバランスを取ることで、多様なベンチマーク全体でモデルのパフォーマンスが向上するか？
• RQ5 自動化された指示合成およびマッチング手法は、スケーラブルに高品質で多様な指示セットを生成できるか？

主な発見

• Muffin で微調整された LLM は、SuperNI-Test、MMLU、BBH の 3 つのベンチマークで、Scaling-Inputs および Scaling Input-Free Tasks で微調整されたモデルを上回る性能を発揮した。
• T0-Eval ベンチマークでは、Muffin で微調整されたモデルが因果的推論および自然言語帰納タスクで最高のパフォーマンスを記録し、Self-Instruct よりも 4.5% の絶対的向上、Unnatural Instruct よりも 3.2% の絶対的向上を達成した。
• 人間による評価では、否定、修正、要約を含む複雑な指示従いのシナリオにおいて、Muffin が生成した出力が指示とより整合的であることが確認された。
• Muffin データセットには 12,800 個の多様な指示-出力ペアが含まれており、分類タスクが 42%、生成タスクが 58% で、生成に偏った既存のデータセットと比較してバランスの取れた分布を実現している。
• エラー検出および単語ソートタスクでは、Muffin で微調整されたモデルが 92% の正確度を示し、Self-Instruct（87%）および Unnatural Instruct（85%）を上回った。
• 入力側面に基づくインストラクション・ブレインスティング手法は、ベースラインのインストラクション生成と比較して、指示の多様性を 58% 向上させ、人間のアノテーターが評価した際の 89% の生成指示が関連性があるとされた。