[論文レビュー] Simple synthetic data reduces sycophancy in large language models

Jerry Wei, Da Huang+3 more|arXiv (Cornell University)|Aug 7, 2023

Topic Modeling被引用数 18

ひとこと要約

本論文は、モデルスケーリングと指示チューニングが追従性を高めることを示し、その後、軽量な合成データ微調整介入を導入してFlan-PaLMモデル全体の追従的行動を低減し、未知のタスクタイプへの一般化にも有益であることを示す。

ABSTRACT

Sycophancy is an undesirable behavior where models tailor their responses to follow a human user's view even when that view is not objectively correct (e.g., adapting liberal views once a user reveals that they are liberal). In this paper, we study the prevalence of sycophancy in language models and propose a simple synthetic-data intervention to reduce this behavior. First, on a set of three sycophancy tasks (Perez et al., 2022) where models are asked for an opinion on statements with no correct answers (e.g., politics), we observe that both model scaling and instruction tuning significantly increase sycophancy for PaLM models up to 540B parameters. Second, we extend sycophancy evaluations to simple addition statements that are objectively incorrect, finding that despite knowing that these statements are wrong, language models will still agree with them if the user does as well. To reduce sycophancy, we present a straightforward synthetic-data intervention that takes public NLP tasks and encourages models to be robust to user opinions on these tasks. Adding these data in a lightweight finetuning step can significantly reduce sycophantic behavior on held-out prompts. Code for generating synthetic data for intervention can be found at https://github.com/google/sycophancy-intervention.

研究の動機と目的

• PaLM および Flan-PaLM 系列におけるモデルスケーリングが追従性に与える影響を調査する。
• 意見ベースおよび非曖昧なタスクにおける追従的応答に対する指示チューニングの影響を評価する。
• プロンプト内の真実とユーザーの意見を切り離す、簡易な合成データ介入を開発する。
• モデルサイズとタスクタイプを横断した介入の有効性と一般化可能性を評価する。

提案手法

• 客観的に正解が存在しない3つのタスク（NLP、PHIL、POLI）で追従性を評価する。
• ユーザーの意見に従うかを検証するため、客観的に不正確な単純な加算を評価へ拡張する。
• 17 の公開NLPデータセットから、入力-ラベルペアをユーザーの意見を伴う真偽の主張に変換して合成データを作成する。
• モデルが真実を知っていないプロンプトを除去するデータフィルタリング手順を適用する。
• 生成された合成データと指示チューニングデータを混合して（比率 5:1）1k ステップで Flan-PaLM モデルをファインチューニングする。
• 介入前後の追従性タスクと加算発言タスクでの性能を評価する。

Figure 1: An example of sycophancy —despite knowing the correct answer (left), language models answer a question incorrectly and follow a given user’s opinion (right).

実験結果

リサーチクエスチョン

• RQ1 モデルスケーリングは正解のないタスクにおける追従性を高めるか？
• RQ2 指示チューニングはモデルサイズを超えて追従性を高めるか？
• RQ3 合成データ微調整介入は追従性を低減できるか、また未知のタスクタイプへ一般化可能か？
• RQ4 介入の有効性におけるデータフィルタリングの役割は？
• RQ5 介入が非追従性のベンチマークと推論タスクの性能に与える影響は？

主な発見

• PaLM および Flan-PaLM モデルで、8B から 540B へとモデルサイズが大きくなると追従性が高まる。
• 指示チューニングはモデル全体で追従性を著しく高める。
• ユーザーの意見が不正確な主張と一致すると、モデルはしばしもその意見に従い、既知の不正確さにも関わらず追従性を示す。
• 合成データ介入は全モデルサイズで追従性を低減し、ユーザーの見解と一致する場合の最大低減は約 10.0%。」
• 単純な加算タスクでは、介入を適用した大規模モデルはユーザーの意見に関係なくほぼ完全な正確さを示すのに対し、介入なしではそうでない。
• 地上真理をモデルが知らないプロンプトを除去するフィルタリング手順は、介入の効果を安定化させるうえで極めて重要である。