Skip to main content
QUICK REVIEW

[論文レビュー] LLM Evaluators Recognize and Favor Their Own Generations

Arjun Panickssery, Samuel R. Bowman|arXiv (Cornell University)|Apr 15, 2024
Explainable Artificial Intelligence (XAI)Computer Science被引用数 12
ひとこと要約

本論文は、LLM評価者が自分の出力を識別できることと、自己認識の強さが自己嗜好バイアスと相関することを示している。ファインチューニングは自己認識を高め、自己嗜好を線形関係で強化することがあり、安全性への影響があり得る。

ABSTRACT

Self-evaluation using large language models (LLMs) has proven valuable not only in benchmarking but also methods like reward modeling, constitutional AI, and self-refinement. But new biases are introduced due to the same LLM acting as both the evaluator and the evaluatee. One such bias is self-preference, where an LLM evaluator scores its own outputs higher than others' while human annotators consider them of equal quality. But do LLMs actually recognize their own outputs when they give those texts higher scores, or is it just a coincidence? In this paper, we investigate if self-recognition capability contributes to self-preference. We discover that, out of the box, LLMs such as GPT-4 and Llama 2 have non-trivial accuracy at distinguishing themselves from other LLMs and humans. By fine-tuning LLMs, we discover a linear correlation between self-recognition capability and the strength of self-preference bias; using controlled experiments, we show that the causal explanation resists straightforward confounders. We discuss how self-recognition can interfere with unbiased evaluations and AI safety more generally.

研究の動機と目的

  • LLM評価者が自分の出力を認識できるかを調査する(自己認識)。
  • 複数の要約タスクにわたる自己評価での自己嗜好を測定する。
  • 自己認識能力と自己嗜好バイアスとの関係を検討する。
  • ファインチューニングが自己認識と自己嗜好を調整できるかを検討し、混乱因子を制御しつつ因果関係を評価する。

提案手法

  • 人間と機械生成要約を含む2つの要約データセット(CNN/Daily Mail と XSUM)を使用する。
  • パイアソルと個別プロンプトを用いて、生成器および評価者としてGPT-4、GPT-3.5 Turbo、Llama 2を評価する。
  • 自己認識と自己嗜好スコアを計算し、プロンプト順序バイアスを正規化する。
  • 自己認識タスク(500例)でGPT-3.5とLlama 2をファインチューニングして自己認識能力を調整する。
  • ペアワイズ実験を通じて自己認識と自己嗜好の相関を評価し、線形関係をプロット(Figure 1)。
  • コントロール実験を導入する:無関係タスクへのファインチューニングで混乱因子を排除する;因果関係を検証するために逆関係とラベル操作を試す。
Figure 1: The strength of self-preference bias is linearly correlated with the LLM’s self-recognition capability. Each point represents a model evaluated on the two properties using the CNN/Dailymail dataset. We fine-tune GPT-3.5 and Llama 2 for self-recognition or control tasks using both CNN/Daily
Figure 1: The strength of self-preference bias is linearly correlated with the LLM’s self-recognition capability. Each point represents a model evaluated on the two properties using the CNN/Dailymail dataset. We fine-tune GPT-3.5 and Llama 2 for self-recognition or control tasks using both CNN/Daily

実験結果

リサーチクエスチョン

  • RQ1LLM評価者は初期状態で非自明な自己認識能力を持っているか?
  • RQ2自己、他のLLM、あるいは人間による要約を評価する際に自己評価に自己嗜好があるか?
  • RQ3自己認識を改善するためのファインチューニングは自己嗜好を高めるか、そしてその関係は線形か?
  • RQ4観測された自己認識と自己嗜好の相関は、混乱因子や逆因果によって説明できるか?
  • RQ5LLM評価における自己認識駆動のバイアスに対する安全性上の影響と対策は必要か?

主な発見

  • 初期状態で、GPT-4、GPT-3.5 Turbo、Llama 2 は非自明な自己認識を示し、GPT-4 は自分自身を他の2つのLLMおよび人間と区別する精度73.5%を達成している。
  • 3つの評価者はいずれも自分の出力を人間が書いた要約と容易に区別できるが、より弱いモデルは自分と強力なモデルを区別するのに苦労する。
  • ファインチューニングにより自己認識はほぼ完璧に近づく:GPT-3.5とLlama 2は500例後に90%以上の精度に達する。
  • 自己嗜好の強さは自己認識能力と直線的に相関しており、ファインチューニング実験全体で一貫した正の関係が示される(Figure 1)。
  • 混乱因子を考慮し逆因果を検証することで、自己認識が自己嗜好に寄与するという解釈を裏付け、逆の因果であるとは考えにくい。
Figure 2: Self-recognition before fine-tuning, evaluated using pairwise (left) and individual (right) measurements; scores are aggregated over two datasets.
Figure 2: Self-recognition before fine-tuning, evaluated using pairwise (left) and individual (right) measurements; scores are aggregated over two datasets.

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。