[論文レビュー] Instruction Tuning for Large Language Models: A Survey

Shengyu Zhang, Linfeng Dong+9 more|arXiv (Cornell University)|Aug 21, 2023

Topic Modeling被引用数 96

ひとこと要約

IT（Instruction Tuning）を大規模言語モデルに適用する包括的サーベイ。方法論、データセット、モデル、マルチモーダル拡張、ドメイン適用、効率性、評価、および批評を網羅。

ABSTRACT

This paper surveys research works in the quickly advancing field of instruction tuning (IT), which can also be referred to as supervised fine-tuning (SFT)\footnote{In this paper, unless specified otherwise, supervised fine-tuning (SFT) and instruction tuning (IT) are used interchangeably.}, a crucial technique to enhance the capabilities and controllability of large language models (LLMs). Instruction tuning refers to the process of further training LLMs on a dataset consisting of extsc{(instruction, output)} pairs in a supervised fashion, which bridges the gap between the next-word prediction objective of LLMs and the users' objective of having LLMs adhere to human instructions. In this work, we make a systematic review of the literature, including the general methodology of SFT, the construction of SFT datasets, the training of SFT models, and applications to different modalities, domains and application, along with analysis on aspects that influence the outcome of SFT (e.g., generation of instruction outputs, size of the instruction dataset, etc). We also review the potential pitfalls of SFT along with criticism against it, along with efforts pointing out current deficiencies of existing strategies and suggest some avenues for fruitful research. Project Page: github.com/xiaoya-li/Instruction-Tuning-Survey

研究の動機と目的

• 一般的なITパイプラインと、次語予測と指示遵守を橋渡しする動機付けの説明。
• 一般的に使用されるITデータセットとそれらの構築方法の調査。
• 代表的な指示調整モデルとその訓練設定のレビュー。
• マルチモーダルITデータセットと、領域・応用の多様なアプローチの検討。
• ITにおける効率性、評価、批判点、および今後の方向性の議論。

提案手法

• 標準的なITパイプライン（指示、任意入力、ターゲット出力）を提示。
• 2つの主要データ収集アプローチを説明（注釈付きデータセット変換とLLMによる生成）。
• 主要なITデータセットとその特性のカタログ化（Natural Instructions、P3、xP3、Flan 2021、Unnatural Instructions、Self-Instruct、Evol-Instruct、LIMA、Super-Natural Instructions、Dolly、OpenAssistant Conversations、Baizeなど）。
• 広く用いられるIT調整モデルとファインチューニング設定（SFTとRLHF様のステップ）の要約。
• 画像、音声、動画のマルチモーダルIT拡張とデータセットの説明。
• 効率性向上と評価指標、批評点および未解決問題のレビュー。

実験結果

リサーチクエスチョン

• RQ1 IT用データセットを構築するための核となる方法論は何か。
• RQ2 指示調整モデルは主要なベンチマークやタスクでどのように比較されるのか。
• RQ3 LLMにおけるITのマルチモーダル及びドメイン特異的適応にはどのようなものがあるのか。
• RQ4 ITワークフローの主な効率性の懸念と提案された解決策は何か。
• RQ5 ITがタスクを本当に理解するのか、それとも表面的なパターン化に留まるのか、批判点は何か。

主な発見

• ITデータセットは規模が大きく、数万〜百万人規模のインスタンスがあり、人間が作成したものとモデル生成の両方を含む。
• 代表的なITモデルにはInstructGPT、BLOOMZ、Flan-T5、Alpaca、Vicuna、GPT-4-LLM、Claude、WizardLM、Evol-Instruct、LIMA、OpenAssistantベースの派生などがあり、それぞれSFTとRLHF様の最適化を組み合わせた固有のファインチューニングパイプラインを持つ。
• ITは一般にユーザー指示への適合性と可制御性を向上させ、毒性低減、事実性、指示遵守の評価で顕著な向上を示す場合が多い。
• マルチターンおよびマルチモーダルITの取り組みは、会話や非テキストモダリティへの指示遵守能力を拡張するが、効率性と未見タスクへの一般化には依然課題が残る。
• 批評点として、ターゲット行動の網羅性の限定性、表面的パターンへの依存、フォーマットやプロンプトを超えた真のタスク理解の懸念が挙げられる。