[論文レビュー] Measuring Progress on Scalable Oversight for Large Language Models

Samuel R. Bowman, Jeeyoon Hyun+44 more|arXiv (Cornell University)|Nov 4, 2022

Topic Modeling被引用数 31

ひとこと要約

本論文はスケーラブルな監視のためのサンドイッチング・パラダイムを提唱し、対話機能を備えたLLMにより支援された人間が、モデル単独および非支援の人間を上回ってMMLUおよびQuALITYタスクで性能を示す概念実証実験を提供します。

ABSTRACT

Developing safe and useful general-purpose AI systems will require us to make progress on scalable oversight: the problem of supervising systems that potentially outperform us on most skills relevant to the task at hand. Empirical work on this problem is not straightforward, since we do not yet have systems that broadly exceed our abilities. This paper discusses one of the major ways we think about this problem, with a focus on ways it can be studied empirically. We first present an experimental design centered on tasks for which human specialists succeed but unaided humans and current general AI systems fail. We then present a proof-of-concept experiment meant to demonstrate a key feature of this experimental design and show its viability with two question-answering tasks: MMLU and time-limited QuALITY. On these tasks, we find that human participants who interact with an unreliable large-language-model dialog assistant through chat -- a trivial baseline strategy for scalable oversight -- substantially outperform both the model alone and their own unaided performance. These results are an encouraging sign that scalable oversight will be tractable to study with present models and bolster recent findings that large language models can productively assist humans with difficult tasks.

研究の動機と目的

• ますます高度化するAIシステムを監督するためのスケーラブルな監督の必要性を動機づける。
• サンドイッチング実験パラダイムを実証的研究の枠組みとして説明する。
• 現在のLLMを用いた難易度の高いQAタスクに関するシンプルな概念実証実験を実証する。
• LLMに支援された人間の参加者が、選択されたデータセットでモデルおよび非支援の人間を上回ることを示す。

提案手法

• 専門家評価者、モデル、非専門家の参加者を含むサンドイッチング・パラダイムを提示する。
• ダイアログ・アシスタントとしてファインチューニングされたモデルと対話する形式の緩やかな実験設定を用いる。
• さまざまな条件下で2つの多肢選択QAタスク（MMLUとQuALITY）で性能を評価する。
• 非支援の人間、モデル、few-shot/best-of-20 CoTプロンプトを用いたモデル、そして人間–モデルチームを比較する。
• キャリブレーション誤差（CE）と正確度を主要な定量指標として報告する。

実験結果

リサーチクエスチョン

• RQ1 信頼性は低いが有用なLLM対話アシスタントにより支援された非専門家の人間は、モデル自身が苦手とする課題を確実に解決できるか。
• RQ2 難易度の高いQAベンチマークにおいて、人間–モデルチームは非支援の人間およびモデルの双方を上回るか。
• RQ3 この設定におけるプロンプト戦略（例：few-shot、chain-of-thought）が性能とキャリブレーションに与える影響は何か。

主な発見

表: タスクと条件別の結果（正確度、キャリブレーション誤差）
MMLU Unassisted Human	57.2	6
MMLU Unassisted Human (weighted majority vote)	66.0	10
MMLU Model	57.2	6
MMLU Model (5-shot)	61.9	4
MMLU Model (best-of-20 CoT)	65.6	16
MMLU Human + Model	75.4	12
MMLU Human + Model (weighted majority vote)	78.0	18
MMLU Expert Human (published estimates)	90.0
QuALITY Unassisted Human	48.6	17
QuALITY Unassisted Human (weighted majority vote)	50.0	15
QuALITY Model	59.2	7
QuALITY Model (5-shot)	–	–
QuALITY Model (best-of-20 CoT)	66.9	17
QuALITY Human + Model	76.8	7
QuALITY Human + Model (weighted majority vote)	86.0	11
QuALITY Expert Human (published estimates)	93.5

• モデルに支援された人間の参加者は、MMLUおよびQuALITYでモデルと非支援の人間の双方を上回る。
• モデル支援を受けた人間は、MMLUとQuALITYでそれぞれ約75-77%の精度を達成し、非支援の人間は57%、最良モデル条件では66-67%となる。
• best-of-20のChain-of-Thoughtプロンプトは標準プロンプトより改善をもたらし、Few-shotも性能を向上させる。
• キャリブレーション誤差（CE）はタスクと条件によって変動し、モデル主導またはハイブリッドなアプローチで一部の場合にCEが高くなる。
• 現在のLLMがスケーラブルな監督文脈で難易度の高いタスクで人間を生産的に支援できるという証拠を提供する。
• 定性的洞察は、明示的な推論の要求や各選択肢の真偽チェックのような戦略が人間によるモデルの誤りの検出と修正を助ける可能性を示唆する。