[논문 리뷰] LLM Critics Help Catch LLM Bugs

Nat McAleese, Rai Michael Pokorny외 4명|arXiv (Cornell University)|2024. 06. 28.

Law, AI, and Intellectual Property인용 수 8

한 줄 요약

이 논문은 RLHF로 튜닝된 LLM 비평가(CriticGPT)가 모델이 작성한 코드를 비판하도록 하여 버그 탐지력을 향상시키고 종종 인간 리뷰어를 능가한다; 인간과 비평가를 결합하면 환각과 지적 결함을 줄일 수 있다.

ABSTRACT

Reinforcement learning from human feedback (RLHF) is fundamentally limited by the capacity of humans to correctly evaluate model output. To improve human evaluation ability and overcome that limitation this work trains "critic" models that help humans to more accurately evaluate model-written code. These critics are themselves LLMs trained with RLHF to write natural language feedback highlighting problems in code from real-world assistant tasks. On code containing naturally occurring LLM errors model-written critiques are preferred over human critiques in 63% of cases, and human evaluation finds that models catch more bugs than human contractors paid for code review. We further confirm that our fine-tuned LLM critics can successfully identify hundreds of errors in ChatGPT training data rated as "flawless", even though the majority of those tasks are non-code tasks and thus out-of-distribution for the critic model. Critics can have limitations of their own, including hallucinated bugs that could mislead humans into making mistakes they might have otherwise avoided, but human-machine teams of critics and contractors catch similar numbers of bugs to LLM critics while hallucinating less than LLMs alone.

연구 동기 및 목표

• RLHF에서 대형 언어 모델의 인간 평가의 근본적 한계를 해결한다.
• LLM 비평가를 훈련시켜 코드에 대한 자연어 비평을 생성하도록 하여 확장 가능한 감독을 개발한다.
• CriticGPT를 인간의 비평과 비교 평가하고 인간-기계 협업의 효과를 분석한다.
• 강제 샘플링 빔 서치(FSBS)를 도입하여 포괄적 비판과 환각 위험의 균형을 맞춘다.

제안 방법

• 질문-대답 쌍을 받아 일반 텍스트 비판을 출력하는 자기회귀 비평가 정책을 학습한다.
• 보상 모델을 계약자가 평가한 비판으로부터 학습시켜 PPO로 비평가 정책을 최적화하는 RLHF를 사용한다.
• 계약자가 미묘한 버그를 삽입하는 적대적 변조 단계를 도입하여 고품질 평가 데이터를 생성한다.
• 강제 샘플링 빔 서치(FSBS)를 적용해 샘플링을 제약하고 길이, 하이라이트, 정확성을 균형 있게 하는 비판을 선택한다.
• 포괄성, 비판-버그 포함(CBI), 지적사항, 그리고 전반적 유용성에 대한 계약자 등급으로 비판을 평가한다.

실험 결과

연구 질문

• RQ1 RLHF로 학습된 LLM 비평가가 모델이 작성한 코드의 정확성과 유용성을 인간 평가에 대해 개선할 수 있는가?
• RQ2 CriticGPT의 비판이 삽입된 버그를 탐지하는 데 인간 및 ChatGPT의 비판과 어떻게 비교되는가?
• RQ3 LLM 비판의 포괄성과 환각 사이의 트레이드오프는 무엇이며 FSBS가 이 트레이드오프를 어떻게 탐색할 수 있는가?
• RQ4 인간+CriticGPT 팀이 단독으로 인간이나 비평가 중 어느 쪽보다 높은 품질의 비판을 생성하는가?
• RQ5 비평가-guided 평가가 비코드 작업 및 실제 데이터 분포에 일반화되는가?

주요 결과

• CriticGPT 비판은 삽입된 버그가 있는 코드에 대해 ChatGPT 및 인간 비판보다 상당히 선호된다.
• CriticGPT는 인간 계약자가 찾지 못한 더 많은 삽입된 버그를 찾고, 코드 리뷰를 위해 지급된 대표적인 인간보다 우수하다.
• Human+CriticGPT 팀은 단독으로 어느 쪽보다 더 포괄적인 비판을 작성하고 환각을 줄인다.
• FSBS는 포괄성과 환각 사이의 트레이드오프를 가능하게 하여 비판 품질에 대한 Pareto 프런트를 제공한다.
• 적대적 변조 데이터로 학습하면 변조 없이 학습했을 때보다 더 높은 품질의 비판이 나온다.