[論文レビュー] Stay on topic with Classifier-Free Guidance

Guillaume Sanchez, Honglu Fan+4 more|arXiv (Cornell University)|Jun 30, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文は、自己回帰的言語モデルにおける推論時技術として、分類器フリー整合性（CFG）を導入し、$γ$ の値を大きくすることで、多様なタスクにおいてプロンプト適合性、一貫性、事実の整合性が向上することを示している。LLaMA-7Bを用いたLAMBADAベンチマークでは、PaLM-540Bを上回る最先端の性能を達成しており、モデルサイズの2倍の性能を発揮するようにモデルを調整可能であると同時に、複雑でフォーム中心のプロンプトにおいても整合性が向上している。

ABSTRACT

Classifier-Free Guidance (CFG) has recently emerged in text-to-image generation as a lightweight technique to encourage prompt-adherence in generations. In this work, we demonstrate that CFG can be used broadly as an inference-time technique in pure language modeling. We show that CFG (1) improves the performance of Pythia, GPT-2 and LLaMA-family models across an array of tasks: Q\&A, reasoning, code generation, and machine translation, achieving SOTA on LAMBADA with LLaMA-7B over PaLM-540B; (2) brings improvements equivalent to a model with twice the parameter-count; (3) can stack alongside other inference-time methods like Chain-of-Thought and Self-Consistency, yielding further improvements in difficult tasks; (4) can be used to increase the faithfulness and coherence of assistants in challenging form-driven and content-driven prompts: in a human evaluation we show a 75\% preference for GPT4All using CFG over baseline.

研究の動機と目的

• 微調整なしに、純粋な言語モデルにおける整合性と性能を向上させるために、分類器フリー整合性（CFG）が有効であるかを調査すること。
• ゼロショット、チェーン・オブ・スティーム、長文生成、チャットボット風のプロンプトを含む、多様なプロンプトパラダイムにおけるCFGの有効性を評価すること。
• CFGが、モデルサイズの2倍の性能を達成できるかどうかを特定することにより、計算コストとデータコストを削減できるかを検証すること。
• CFGが、チェーン・オブ・スティームや自己一貫性といった他の推論時手法と互換性を持つかどうかを評価すること。
• 複雑でコンテンツ中心のアシスタント対話において、CFGガイドド生成のユーザープレファレンスが向上するかどうかを評価すること。

提案手法

• テキストから画像への拡散モデルで用いられるCFGを、自己回帰的言語モデルに適応させる。その際、モデル自身のロジットを暗黙の分類器として用いる。
• デコード中にガイドウェイト $\gamma$ を適用し、ロジットをスケーリングすることで、プロンプト関連のトークンに注目を向けるようにする。
• ネガティブプロンプトを用いることで、生成時に強調すべきプロンプトの側面を細かく制御できるようにする。
• デコード中に、$\text{logits}_{\text{guided}}} = \text{logits} + \gamma \cdot (\text{logits} - \text{logits}_{\text{uncond}})$ のように、ロジット分布を変更することでCFGを適用する。ここで $\text{logits}_{\text{uncond}}$ は、プロンプトなしでのモデル出力である。
• LAMBADA、GSM8K、HumanEval、MMLU、機械翻訳タスクを含む複数のベンチマークでCFGを評価する。
• 特にアシスタント風および複雑なプロンプトシナリオにおいて、CFGガイドド生成と通常のサンプリングの間で人間による評価を実施する。

Figure 1: A notional 2D projection of a textual latent space showing how increasing the guidance weight $\gamma$ increases the importance of the prompt “Today in France,”.

実験結果

リサーチクエスチョン

• RQ1 微調整や追加学習なしに、CFGが自己回帰的言語モデルにおけるプロンプト適合性と生成品質を向上させられるか？
• RQ2 ゼロショット、チェーン・オブ・スティーム、および複雑なアシスタント風プロンプトを含む、多様なプロンプトスタイルにおいて、CFGが性能向上をもたらすか？
• RQ3 CFGはモデルサイズに比してどの程度性能を向上させるか—モデルサイズが2倍のモデルと同等の性能を達成できるか？
• RQ4 CFGはチェーン・オブ・スティームや自己一貫性といった他の推論時手法とどのように相互作用するか？
• RQ5 特にフォーム中心でコンテンツ中心のプロンプトにおいて、CFGはアシスタント風生成におけるユーザープレファレンスと一貫性を向上させられるか？

主な発見

• LLaMA-7Bを用いたLAMBADAベンチマークで、CFGはPaLM-540Bを上回る最先端の性能を達成した。
• Q&A、推論、コード生成、機械翻訳など、複数のタスクにおいてCFGが一貫した向上をもたらし、性能が向上した。
• 同じ推論コストにおいて、パラメータ数を半分にしたモデルにCFGを適用することで、より大きなアンガイドドモデルと同等の性能を達成できた。
• アシスタント風生成において、CFGガイドド生成は人間の好みを向上させた：75%の評価者が、GPT4AllのCFG出力を通常のサンプリングよりも好んだ。
• CFGはトークンサンプリング分布のエントロピーを低下させ、より集中的かつ一貫性のある生成を実現した。
• 可視化結果から、CFGはプロンプト関連語に注目を向けるようになり、解釈可能性を高め、プロンプト工学の支援にも寄与した。

Figure 3: CFG impact on chain-of-thought prompting with respect to GSM8K dataset. For small CFG values, using CFG increases the percentage of chains which end in a valid answer structure while increasing the model accuracy. For large values the invalid percentage remains small but the accuracy drop.