[논문 리뷰] Shepherd: A Critic for Language Model Generation

Tianlu Wang, Ping Yu외 8명|arXiv (Cornell University)|2023. 08. 08.

Topic Modeling인용 수 4

한 줄 요약

Shepherd는 7B 파라미터 언어 모델로, 커뮤니티 포럼 비평과 인간 분석가가 제공한 피드백을 조합한 고품질 피드백 데이터셋을 사용해 다른 대규모 언어 모델의 출력을 평가하고 개선하도록 미세조정된 모델이다. 자동 평가 및 인간 평가 모두에서 GPT-4와 유사한 성능을 보이며, Alpaca나 SelFee와 같은 모델들을 능가한다. 이는 사실성, 논리성, 일관성 오류를 식별하고 실천 가능한 제안을 제공하는 데 강력한 능력을 보여준다.

ABSTRACT

As large language models improve, there is increasing interest in techniques that leverage these models' capabilities to refine their own outputs. In this work, we introduce Shepherd, a language model specifically tuned to critique responses and suggest refinements, extending beyond the capabilities of an untuned model to identify diverse errors and provide suggestions to remedy them. At the core of our approach is a high quality feedback dataset, which we curate from community feedback and human annotations. Even though Shepherd is small (7B parameters), its critiques are either equivalent or preferred to those from established models including ChatGPT. Using GPT-4 for evaluation, Shepherd reaches an average win-rate of 53-87% compared to competitive alternatives. In human evaluation, Shepherd strictly outperforms other models and on average closely ties with ChatGPT.

연구 동기 및 목표

• LLM 생성 텍스트의 신뢰성과 품질을 향상시키기 위해 사실성, 논리성, 일관성 오류를 식별하는 전용 비평 모델을 개발하는 것.
• 커뮤니티 기반 비평과 인간 분석가가 제공한 피드백을 조합한 고품질, 다양한 피드백 데이터셋을 구축하는 것.
• 작은 전용 비평가 모델이 ChatGPT와 같은 대규모 일반 목적 모델에 비해 정확하고 실천 가능한 피드백을 생성하는 데 효과적인지 평가하는 것.
• 자동화된 고품질 비평을 통해 LLM 출력의 반복적 개선을 가능하게 하여 환각 현상 감소와 사실 일관성 향상에 기여하는 것.

제안 방법

• Stack Exchange의 커뮤니티 피드백과 모델 생성물에 대한 인간 분석가가 제공한 비평을 조합한 정제된 피드백 데이터셋을 기반으로 7B 파라미터 언어 모델을 미세조정하는 것.
• 두 단계로 구성된 데이터 수집 과정을 사용: 첫 번째로 실제 온라인 Q&A 포럼에서 비평을 추출하여 다양한 비공식적 피드백을 확보하고, 두 번째로 다양한 작업에 걸쳐 모델 출력에 대한 고품질의 구조화된 피드백을 인간 분석가로부터 수집하는 것.
• Shepherd가 특정 오류(예: 사실 오류, 논리적 결함 등)를 식별하고 개선을 위한 실천 가능한 제안을 포함한 자연어 피드백을 생성하도록 훈련하는 것.
• 자동화된 선호도 비교에서 GPT-4를 심판으로 사용하고, 이중 선호도 연구에서 인간 분석가를 활용해 비평 품질을 평가하는 것.
• 일곱 가지 다양한 데이터셋에서 Alpaca, SelFee, ChatGPT 등의 기준 모델과의 비교를 통해 일관성, 정확성, 유용성 평가를 수행하는 것.
• 커뮤니티 데이터와 인간 분석 데이터의 기여도를 분석하여, 커뮤니티 데이터는 다양성을 향상시키고, 인간 분석 데이터는 정밀도와 품질을 향상시킨다는 점을 발견함.

Figure 2: Preference evaluation using GPT-4 as the evaluator, comparing Shepherd with 3 different competing models across 7 different datasets.

실험 결과

연구 질문

• RQ1 작고 전용화된 언어 모델이 LLM 생성 텍스트에 대해 정확하고 실천 가능한 비평을 생성하는 데 있어 일반 목적 LLM보다 뛰어난 성능을 낼 수 있는가?
• RQ2 다양하고 비공식적인 커뮤니티 비평이 정제된 인간 분석 피드백보다 비평 모델의 성능 향상에 더 효과적인가?
• RQ3 Shepherd와 같은 비평가 모델이 LLM 출력의 환각 현상 감소와 사실 일관성 향상에 어느 정도 기여할 수 있는가?
• RQ4 자동 평가 및 인간 평가에서 Shepherd의 비평 품질은 GPT-4나 ChatGPT와 비교해 어떻게 평가되는가?

주요 결과

• GPT-4 기반 선호도 평가에서 Shepherd는 경쟁 기준 모델들에 비해 53~87%의 승리율을 기록하여 다양한 데이터셋에서 비평에 대한 강한 선호도를 보였다.
• 인간 평가에서 Shepherd는 Alpaca를 엄격히 압도하고 ChatGPT와 근소한 격차로 맞서며, 고품질의 실천 가능한 피드백을 제공한다는 점을 입증했다.
• 커뮤니티 피드백 데이터는 오류 유형의 다양성과 커버리지 향상에 기여하는 반면, 인간 분석 데이터는 정밀도 향상과 피드백의 모호성 감소에 기여한다.
• Shepherd는 Alpaca나 SelFee보다 사실 오류(예: 베이킹 소다와 베이킹 파우더를 혼동하는 것)나 논리적 모순(예: '위험 없음' 투자 존재를 주장하는 것)을 더 효과적으로 식별한다.
• Alpaca는 출력 품질에 관계없이 일관되게 긍정적인 피드백을 제공하는 경향이 있고, SelFee는 종종 모호하거나 주제에서 벗어난 피드백을 제공하므로 전용 비평 모델의 필요성을 드러낸다.
• 모델의 7B 파라미터 크기는 대규모 추론이 필요하지 않도록 하여 경량이지만 효과적인 도구로서 LLM 출력의 반복적 개선을 가능하게 한다.

Figure 3: Human preference evaluation, comparing Shepherd with 3 different competing models across 7 different datasets.