[論文レビュー] Shepherd: A Critic for Language Model Generation

Tianlu Wang, Ping Yu+8 more|arXiv (Cornell University)|Aug 8, 2023

Topic Modeling被引用数 4

ひとこと要約

Shepherdは、コミュニティフォーラムの批判と人間がアノテートしたフィードバックを組み合わせた高品質なフィードバックデータセットを用いて微調整された、7Bパラメータの言語モデルであり、他の大規模言語モデルの出力を評価・改善する目的で設計されている。GPT-4と同等の性能を達成し、Alpaca や SelFee よりも自動評価および人間評価の両方で優れている。事実誤認、論理的誤り、一貫性の欠如といったエラーを特定し、実行可能な改善提案を行う強力な能力を示している。

ABSTRACT

As large language models improve, there is increasing interest in techniques that leverage these models' capabilities to refine their own outputs. In this work, we introduce Shepherd, a language model specifically tuned to critique responses and suggest refinements, extending beyond the capabilities of an untuned model to identify diverse errors and provide suggestions to remedy them. At the core of our approach is a high quality feedback dataset, which we curate from community feedback and human annotations. Even though Shepherd is small (7B parameters), its critiques are either equivalent or preferred to those from established models including ChatGPT. Using GPT-4 for evaluation, Shepherd reaches an average win-rate of 53-87% compared to competitive alternatives. In human evaluation, Shepherd strictly outperforms other models and on average closely ties with ChatGPT.

研究の動機と目的

• 事実的誤り、論理的誤り、一貫性の欠如といったエラーを特定することで、LLM出力の信頼性と品質を向上させる専用の批判モデルを開発すること。
• コミュニティからのフィードバックと人間がアノテートしたフィードバックを組み合わせた高品質で多様なフィードバックデータセットを構築すること。
• ChatGPTのような大規模で汎用的なモデルと比較して、小型で特化した批判モデルが、実行可能で正確なフィードバックを生成する効果を評価すること。
• 自動的で高品質な批判を用いてLLM出力を繰り返し改善することで、幻覚を低減し、事実の整合性を高めること。

提案手法

• Stack Exchangeからのコミュニティフィードバックと、モデル出力に対する人間がアノテートした批判を組み合わせた、精選されたフィードバックデータセットを用いて、7Bパラメータの言語モデルを微調整する。
• 二段階のデータ収集プロセスを採用する：まず、多様で非公式なフィードバックを抽出するために、実際のオンラインQ&Aフォーラムから批判を抽出する。次に、多様なタスクにおけるモデル出力に対して、人間のアノテーターから高品質で構造化されたフィードバックを収集する。
• Shepherdが、具体的な誤り（例：事実の誤認、論理的欠陥）を特定し、改善のための実行可能な提案を含む自然言語フィードバックを生成するように訓練する。
• 自動化された好み比較評価においてGPT-4をジャッジとして使用し、ペairwise好み評価において人間のアノテーターを用いてフィードバック品質を評価する。
• 7つの多様なデータセットにおいて、Alpaca、SelFee、ChatGPTといったベースラインと比較し、一貫性、正確性、役立つさを評価する。
• コミュニティデータと人間がアノテートしたデータの相対的寄与度を分析し、コミュニティデータは多様性を高め、人間のデータは正確性と明確性を向上させることを発見した。

Figure 2: Preference evaluation using GPT-4 as the evaluator, comparing Shepherd with 3 different competing models across 7 different datasets.

実験結果

リサーチクエスチョン

• RQ1 小型で特化した言語モデルは、汎用的なLLMよりも、LLM出力のための高品質で実行可能な批判を生成する点で優れていると言えるか？
• RQ2 多様で非公式なコミュニティフィードバックを含めることと、精選された人間によるアノテートフィードバックを含めることの、批判モデルのパフォーマンス向上に与える影響を比較するとどうなるか？
• RQ3 Shepherdのような批判モデルは、LLM出力における幻覚をどれほど低減させ、事実の整合性を向上させることができるか？
• RQ4 自動評価および人間評価において、Shepherdのフィードバック品質はGPT-4やChatGPTと比べてどの程度か？

主な発見

• GPT-4ベースの好み評価において、Shepherdは7つの多様なデータセットにおいて53–87％の勝率を達成しており、多様なデータセットにおいてその批判が好まれることを示している。
• 人間評価において、ShepherdはAlpacaを厳密に上回り、ChatGPTとほぼ同等の水準に達しており、高品質で実行可能なフィードバックを提供していることが確認された。
• コミュニティフィードバックデータは、より多様なエラー種別をカバーするが、人間がアノテートしたデータは、批判の正確性を高め、曖昧さを低減することが分かった。
• Shepherdは、事実誤認（例：ベーキングソーダとベーキングパウダーを混同する）や論理的不整合（例：「リスクなし」の投資が存在すると主張する）といった特定の誤りを、ベースラインより効果的に特定している。
• Alpacaは出力品質に関係なく一貫して肯定的なフィードバックを提供する傾向にあり、SelFeeはしばしば曖昧または関連のないフィードバックを提供するため、専用の批判モデルの必要性が浮き彫りになった。
• 7Bパラメータという小さなサイズであるがゆえに、大規模な推論を要せず、繰り返しの改善に適した軽量で効果的なツールとしての性能を発揮している。

Figure 3: Human preference evaluation, comparing Shepherd with 3 different competing models across 7 different datasets.