[論文レビュー] Instruction Following without Instruction Tuning

John K. Hewitt, Nelson F. Liu+2 more|arXiv (Cornell University)|Sep 21, 2024

Education and Technology Integration被引用数 4

ひとこと要約

この論文は、明示的な指示チューニングではなく、応答のみのチューニングや、詩の分野のような狭域ドメインでの単一タスク微調整といった、暗黙的な適応を通じて、言語モデルが強力な指示従い能力を発達させられることを示している。驚くべきことに、確率分布を変更するシンプルなルールベースのアダプタですら、完全な指示チューニングと同等の指示従いを達成でき、指示従いが最小限で、標的とされていない分布調整から生じることを示している。

ABSTRACT

Instruction tuning commonly means finetuning a language model on instruction-response pairs. We discover two forms of adaptation (tuning) that are deficient compared to instruction tuning, yet still yield instruction following; we call this implicit instruction tuning. We first find that instruction-response pairs are not necessary: training solely on responses, without any corresponding instructions, yields instruction following. This suggests pretrained models have an instruction-response mapping which is revealed by teaching the model the desired distribution of responses. However, we then find it's not necessary to teach the desired distribution of responses: instruction-response training on narrow-domain data like poetry still leads to broad instruction-following behavior like recipe generation. In particular, when instructions are very different from those in the narrow finetuning domain, models' responses do not adhere to the style of the finetuning domain. To begin to explain implicit instruction tuning, we hypothesize that very simple changes to a language model's distribution yield instruction following. We support this by hand-writing a rule-based language model which yields instruction following in a product-of-experts with a pretrained model. The rules are to slowly increase the probability of ending the sequence, penalize repetition, and uniformly change 15 words' probabilities. In summary, adaptations made without being designed to yield instruction following can do so implicitly.

研究の動機と目的

• 言語モデルにおける指示従いが、明示的な指示チューニングなしに生じるかどうかを調査すること。
• 指示を含まない応答のみでトレーニングした場合、指示従いの行動が得られるかどうかを検討すること。
• 詩のような狭域ドメインのデータで微調整することで、広範な指示従いが暗黙的に可能になるかどうかを調査すること。
• モデルの確率分布に対するシンプルなルールベースの修正が、指示従いを誘発できるかどうかを評価すること。
• 指示チューニングが指示従い能力に不可欠であるという仮定に挑戦すること。

提案手法

• 応答チューニング：LIMAデータセットの応答のみのデータで言語モデルを微調整し、対応する指示は一切使用しない。
• 単一タスク微調整：詩のような狭域ドメインのデータでトレーニングし、多様な指示従いベンチマークで評価する。
• ルールベースアダプタ：ルールベースの分布が乗算正規化によりベースモデルの出力確率を修正する製品型エキスパートモデルを構築する。
• コア方程式：最終出力分布は $ p_a(w\mid\mathbf{x}) = p_{\text{base}}(w\mid\mathbf{x}) p_{\text{rules}}(w\mid\mathbf{x}) / Z(\mathbf{x}) $ で定義され、ベース分布とルールベース分布が組み合わされる。
• ルールには以下のものがある：(1) 応答長に応じてEOSトークンの確率を線形に増加させる、(2) 15のキーワード（例：'I', 'We', '<', 'Should'）の確率を一様に調整する、(3) 以前に生成されたトークンの繰り返しをペナルティ化する。
• AlpacaEval 2の勝率を用いて、指示チューニング済みLIMAモデルと比較して評価し、ルールの寄与を分離するためのアブレーションを実施。

実験結果

リサーチクエスチョン

• RQ1 指示トークンが一切存在しない状況で、応答のみでトレーニングした場合、言語モデルに指示従いが生じるか？
• RQ2 詩のような狭域ドメインで微調整した場合、詩とは関係のないタスク（例：レシピ生成）においても、指示従いが暗黙的に得られるか？
• RQ3 学習やチューニングなしに、単純な手作業のルールベースアダプタが指示従い行動を誘発できるか？
• RQ4 言語モデルの出力分布にどのような変更が加われば、指示従いが生じるようになるか？
• RQ5 暗黙の適応は、明示的な指示チューニングの能力をどの程度再現できるか？

主な発見

• 指示を含まない応答のみでトレーニングした場合、AlpacaEval 2では指示チューニング済みモデルと比較して43%の勝率を達成し、同等性能の50%ベースラインに近い水準に到達した。
• 詩のデータでの単一タスク微調整により、レシピ生成など多様なタスクで指示従いの行動が得られた。これは、指示が詩とは関係がなくても同様に成立した。
• 3つのシンプルなルール（EOS重み付け、キーワードの均等な確率調整、繰り返しペナルティ）を備えたルールベースアダプタは、LIMAの指示チューニング済みモデルと比較して24.4%の勝率を達成した。
• アブレーションスタディの結果、3つのルールすべてが性能向上に顕著な寄与をしており、個別のルールを除外すると勝率が17%未満に低下した。
• 事前学習済みモデルは、正しい応答をランダムな応答よりも高い頻度でランク付けしており、これは、チューニング前の段階から暗黙の指示-応答マッピングが存在することを示唆している。
• 極めて限定的で標的とされていない分布調整（例：15語の確率を変更、繰り返しをペナルティ化）ですら、顕著な指示従い行動を生み出すことができる。