[논문 리뷰] Generative Judge for Evaluating Alignment

Junlong Li, Shichao Sun외 4명|arXiv (Cornell University)|2023. 10. 09.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 58개의 다양한 시나리오에 걸쳐 실제 사용자 쿼리와 LLM이 생성한 응답을 기반으로 훈련된 13B 파라미터의 생성형 평가자 모델인 Auto-J를 소개한다. 이 모델은 자연어 평가를 통해 단일 응답 및 쌍대 비교 평가 프로토콜 모두에서 영향력 있는 평가를 가능하게 하며, 높은 일관성과 세부적인 추론을 바탕으로 기존의 강력한 오픈소스 및 비오픈소스 베이스라인을 능가한다.

ABSTRACT

The rapid development of Large Language Models (LLMs) has substantially expanded the range of tasks they can address. In the field of Natural Language Processing (NLP), researchers have shifted their focus from conventional NLP tasks (e.g., sequence tagging and parsing) towards tasks that revolve around aligning with human needs (e.g., brainstorming and email writing). This shift in task distribution imposes new requirements on evaluating these aligned models regarding generality (i.e., assessing performance across diverse scenarios), flexibility (i.e., examining under different protocols), and interpretability (i.e., scrutinizing models with explanations). In this paper, we propose a generative judge with 13B parameters, Auto-J, designed to address these challenges. Our model is trained on user queries and LLM-generated responses under massive real-world scenarios and accommodates diverse evaluation protocols (e.g., pairwise response comparison and single-response evaluation) with well-structured natural language critiques. To demonstrate the efficacy of our approach, we construct a new testbed covering 58 different scenarios. Experimentally, Auto-J outperforms a series of strong competitors, including both open-source and closed-source models, by a large margin. We also provide detailed analysis and case studies to further reveal the potential of our method and make a variety of resources public at https://github.com/GAIR-NLP/auto-j.

연구 동기 및 목표

• 인간 중심의 생성 작업을 위한 평가 방법의 일반성, 유연성, 해석 가능성에 대한 기존 방법의 한계를 해결하기 위해.
• 특허 API 의존 없이 다양한 평가 프로토콜을 지원하는 확장 가능한 오픈소스 평가자 개발을 위해.
• 강력한 생성형 평가자 모델을 훈련하기 위한 고품질의 시나리오별 전용 데이터셋을 구축하기 위해.
• 평가 점수에 대한 세부적이고 자연어 기반의 설명을 제공하여 신뢰성과 인간-중개 사용성 향상을 위해.
• 세부적인 흐름에 맞게 미세조정된 오픈웨이트 LLM이 다양한 정렬 작업에 걸쳐 일반 목적 평가자로 효과적으로 기능할 수 있음을 입증하기 위해.

제안 방법

• 실제 사용자 쿼리와 LLM 응답을 기반으로 한 58개의 실제 세계 시나리오 데이터셋을 새로 구축하여 Auto-J를 훈련하는 것.
• 각 쿼리-응답 쌍에 대해 수작업으로 작성된 시나리오별 기준을 사용하여 GPT-4를 활용해 지도 평가 레이블을 생성하는 것.
• 출력 형식을 표준화하고 애너테이션 노이즈를 줄이기 위해 히우리스틱 필터링 및 후처리를 적용하는 것.
• 단일 응답 평가 및 쌍대 비교 평가 프로토콜을 모두 지원하는 통합 프롬프팅 프레임워크 설계.
• Auto-J가 세부적이고 자연어 기반의 평가를 유도하기 위해 소수의 예시 프롬프팅과 사고의 사슬 프롬프팅을 활용하는 것.
• 정제된 데이터셋을 기반으로 13B 파라미터 모델을 미세조정하여 정렬 평가 성능 최적화.

실험 결과

연구 질문

• RQ1 미세조정된 오픈소스 LLM이 다양한 실제 세계 정렬 작업에 걸쳐 신뢰성 있고 일반적인 평가자로 기능할 수 있는가?
• RQ2 자연어 기반 설명이 포함된 생성형 평가자 모델이 수치 기반 메트릭스에 비해 평가의 해석 가능성에 어떤 영향을 미치는가?
• RQ3 한 번의 모델이 성능 저하 없이 다수의 평가 프로토콜(예: 쌍대 비교 대비 단일 응답)을 지원할 수 있는 정도는 어느 정도인가?
• RQ4 Auto-J는 오픈소스 및 비오픈소스 평가자와 비교할 때 정렬 평가 정확도와 일관성 측면에서 어떤 성능을 보이는가?
• RQ5 시나리오별 전용 훈련 데이터가 생성형 평가자 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?

주요 결과

• Auto-J는 58개의 실제 세계 시나리오에서 다양한 오픈소스 및 비오픈소스 베이스라인을 능가하는 정렬 평가 성능을 보였다.
• 특히 복잡하고 시나리오별 특화된 평가에서 세련된 추론이 요구되는 경우 인간 평가자와의 높은 일치도를 보였다.
• Auto-J는 단일 응답 평가 및 쌍대 비교 평가 프로토콜 양쪽 모두에서 뛰어난 성능을 보이며 높은 유연성을 입증했다.
• 세부적인 자연어 기반 평가 설명의 포함이 평가 결과의 해석 가능성과 신뢰성 향상에 크게 기여했다.
• 사례 연구 결과, Auto-J는 논리적 모순이나 사실 오류와 같은 미세한 결함을 높은 정밀도로 식별할 수 있었다.
• 복잡한 법적 쿼리에서 Auto-J는 최상의 32개 응답 중 선택 점수 6.0을 기록했으며, 전체 정렬 측면에서 GPT-4(9.0)를 능가하여 고위험 상황에서의 강건성을 입증했다.