[논문 리뷰] Debating with More Persuasive LLMs Leads to More Truthful Answers

Akbir Khan, John Hughes외 8명|arXiv (Cornell University)|2024. 02. 09.

Artificial Intelligence in Law인용 수 9

한 줄 요약

본 논문은 더 강력한 전문 LLM들 간의 토론을 약한 비전문가(사람을 포함)들이 판단하는 방식으로 평가하면 더 진실한 답이 도출되며, 설득력 향상을 위한 토론자 최적화가 ground-truth 라벨 없이도 심판의 정확도를 높임을 보여준다.

ABSTRACT

Common methods for aligning large language models (LLMs) with desired behaviour heavily rely on human-labelled data. However, as models grow increasingly sophisticated, they will surpass human expertise, and the role of human evaluation will evolve into non-experts overseeing experts. In anticipation of this, we ask: can weaker models assess the correctness of stronger models? We investigate this question in an analogous setting, where stronger models (experts) possess the necessary information to answer questions and weaker models (non-experts) lack this information. The method we evaluate is debate, where two LLM experts each argue for a different answer, and a non-expert selects the answer. We find that debate consistently helps both non-expert models and humans answer questions, achieving 76% and 88% accuracy respectively (naive baselines obtain 48% and 60%). Furthermore, optimising expert debaters for persuasiveness in an unsupervised manner improves non-expert ability to identify the truth in debates. Our results provide encouraging empirical evidence for the viability of aligning models with debate in the absence of ground truth.

연구 동기 및 목표

• 모델이 인간보다 더 능력을 갖게 됨에 따라 확장 가능한 감독의 필요성을 제시한다.
• 비정보 비대칭(debate) 프로토콜에서 비전문가가 전문 토론자를 판정하는 방법을 평가한다.
• ground-truth 라벨 없이 토론자와 심판의 성능을 측정하기 위한 지표를 개발하고 검증한다.
• 설득력 최적화가 토론에서 진실성을 향상시키는지 평가한다.
• 다양한 프로토콜에 걸쳐 언어모델과 인간 심판 모두에 대한 분석을 확장한다.

제안 방법

• 기준으로 Debate, Interactive Debate, Consultancy의 세 가지 토론 프로토콜을 구현한다.
• 토론자에게 기본 텍스트에 접근 권한이 있고 심판(비전문가)은 텍스트 없이 정보-비대칭 설정을 사용한다.
• QuALITY 독해-이해 과제에 대해 Project Gutenberg 텍스트와 고정된 3회 제한을 적용한다.
• 사실 증거의 신뢰성을 보장하기 위한 인용 검증(확인된 인용/미확인 인용)을 도입한다.
• 추론 시점에 best-of-N 샘플링과 critique-and-refinement을 통해 토론자를 설득력으로 최적화한다.
• LLM 심판(GPT-4-Turbo, GPT-3.5-Turbo, Claude 계열) 및 인간 심판으로 평가하고, 심판의 정확도와 보정을 보고한다.
• ground-truth 라벨 없이 토론자와 심판의 성능을 평가하기 위한 비지도 지표(승률, Elo 등급)를 개발한다.

실험 결과

연구 질문

• RQ1 약한 모델이 토론 설정에서 강한 모델을 신뢰할 수 있게 감독하여 진실한 답을 식별할 수 있는가?
• RQ2 설득력 최적화가 비전문가 심판의 진실 식별 능력을 향상시키는가?
• RQ3 언어 모델 심판이 토론된 주장을 평가하는 데 인간 심판과 어떤 차이가 있는가?
• RQ4 다양한 토론 프로토콜(Debate, Interactive Debate, Consultancy)의 정확도와 보정에 어떤 영향을 미치는가?
• RQ5 결과가 서로 다른 기본 모델과 심판 유형 전반에 일반화되는가?

주요 결과

• 비전문가 심판은 토론으로 인간 88%의 정확도, LLM 76%의 정확도를 달성한다; 순진한 기준은 각각 60%, 48%이다.
• 설득력 최적화가 토론에서 심판의 진실 식별 능력을 향상시킨다.
• 사람은 토론에서 컨설팅보다 더 높은 정확도와 더 나은 보정을 달성하며, 신뢰도 기반 거부는 토론에서 더 높은 정확도를 유지한다.
• 더 능력 있는 심판은 더 높은 정확도와 토론자 간 더 큰 차이를 낳고, 강한 토론자는 다양한 심판 유형에서 토론 결과를 개선한다.
• 설득력 최적화된 컨설턴트는 심판의 정확도를 해칠 수 있으며, 특히 설득력이 잘못된 답을 겨냥할 때 그렇다.
• 프로토콜 전반에 걸쳐 토론은 인간 및 LLM 심판 평가 모두에서 컨설턴시를 능가하며, 비전문가의 상호작용은 정적 대 상호작용 설정에서 정확도를 개선하지 못한다.