[논문 리뷰] Using Natural Language Explanations to Rescale Human Judgments

Manya Wadhwa, Jifan Chen외 2명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 작업별 특화된 평가 기준을 바탕으로 자연어 설명과 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 군중화된 리커트 척도 인간 평가를 세밀한 0–100 점수로 재스케일링하는 방법을 제안한다. 이 방법은 인간 평가자 간의 일致성을 유지하면서 전문가 평가와의 일치도를 향상시키며, 미묘한 주관성과 척도 사용 방식의 차이를 반영한다.

ABSTRACT

The rise of large language models (LLMs) has brought a critical need for high-quality human-labeled data, particularly for processes like human feedback and evaluation. A common practice is to label data via consensus annotation over human judgments. However, annotators' judgments for subjective tasks can differ in many ways: they may reflect different qualitative judgments about an example, and they may be mapped to a labeling scheme in different ways. We show that these nuances can be captured by natural language explanations, and propose a method to rescale ordinal annotations and explanations using LLMs. Specifically, we feed annotators' Likert ratings and corresponding explanations into an LLM and prompt it to produce a numeric score anchored in a scoring rubric. These scores should reflect the annotators' underlying assessments of the example. The rubric can be designed or modified after annotation, and include distinctions that may not have been known when the original error taxonomy was devised. We explore our technique in the context of rating system outputs for a document-grounded question answering task, where LLMs achieve near-human performance. Our method rescales the raw judgments without impacting agreement and brings the scores closer to human judgments grounded in the same scoring rubric.

연구 동기 및 목표

• 주관적인 NLP 작업에서 일관성 없고 군중화된 인간 평가의 문제를 해결한다. 특히 LLM 출력을 평가할 때 적용된다.
• 전통적인 레이블 집계 및 공통 평가 방법의 한계를 극복한다. 이러한 방법들은 미묘한 주관성과 척도 사용 방식의 차이를 포착하지 못한다.
• 평가자들이 제공한 자연어 설명을 활용해 숫자 점수의 표현력을 단순한 리커트 척도 평가를 넘어서도록 한다.
• 후속 평가 단계에서 LLM과 사용자 정의 평가 기준을 활용해 인간 평가를 세밀하게 재스케일링할 수 있는 방법을 개발한다.
• 고위험 응용 분야에서 LLM 학습 및 평가를 위한 인간 피드백의 질과 정밀도를 향상시킨다.

제안 방법

• 평가자들이 각 평가에 대해 리커트 척도(예: 1–5)와 관련된 자연어 설명을 함께 제공하도록 평가 과정을 설계한다.
• 각 평가자의 리커트 점수와 설명을 프롬프트를 통해 GPT-4와 같은 대규모 언어 모델에 입력하며, 이때 재스케일링 과정이 사전에 정의된, 요소 기반의 평가 기준에 기반하도록 한다.
• LLM을 통해 평가자의 본질적 평가를 반영하는 0–100 점수를 생성한다. 이 과정에서 점수는 레이블과 설명 양쪽을 고려한다.
• 후속 평가 단계에서 설명과 평가 분석을 바탕으로 평가 기준을 설계하며, 이는 원래의 레이블링 체계에 포함되지 않은 구분을 가능하게 한다.
• 모든 점수 포인트에 대해 기준을 정의하는 구조화된 평가 기준에 기반함으로써 LLM의 출력이 일관되고 해석 가능하도록 보장한다.
• 참고 인간 평가자 기준과 비교하여 재스케일링된 점수의 일치도와 일관성을 평가한다.

Figure 1: Overview of our method. By feeding explanations that annotators write into an LLM, we can rescale their coarse-grained judgment to a 100-point scale.

실험 결과

연구 질문

• RQ1 자연어 설명을 기반으로 한 LLM 기반 재스케일링이 전문가가 평가한 0–100 점수와 유사한 점수를 생성할 수 있는가?
• RQ2 제안된 방법은 평가자 간 일치도를 유지하면서도 평가의 세밀한 차이를 반영할 수 있는가?
• RQ3 후속 평가 단계에서 평가 기준을 사용하는 것이, 기준 없이 재스케일링하는 것에 비해 점수의 정밀도를 얼마나 향상시키는가?
• RQ4 자연어 설명이 군중화된 리커트 척도에서 손실된, 미묘한 주관성을 얼마나 잘 포착하고 전달할 수 있는가?
• RQ5 이 방법은 문서 기반 질문 응답을 넘어서 다른 주관적인 NLP 평가 작업으로 일반화될 수 있는가?

주요 결과

• 자연어 설명 기반 재스케일링(EBR) 방법은 기준선 재스케일링 방법보다 전문가가 평가한 0–100 점수에 유의미하게 더 가까운 점수를 생성한다.
• Krippendorff’s alpha로 측정한 평가자 간 일치도는 재스케일링 후에도 안정적으로 유지되어, 이 방법이 기존의 공감대를 왜곡하지 않는다는 것을 시사한다.
• 평가 기준을 사용한 결과, 기준 없이 재스케일링하는 것보다 정확도가 유의미하게 향상되어, 구조화된 작업별 특화 기준의 가치를 입증한다.
• 평가자들의 설명은 서로 다른 추론 패턴을 드러내며, 이는 동일한 리커트 레이블을 선택한 경우에도 재스케일링된 점수에 반영된다.
• 이 방법은 척도 사용 방식과 주관성의 차이를 효과적으로 분리하여 평가자의 의도를 더 충실하게 반영할 수 있다.
• 이 방법은 다양한 평가자에게도 강건하며, 설명 가능성을 유지하므로 RLHF 및 기타 피드백 기반 LLM 정렬 파이프라인에 적합하다.

Figure 2: Example from Inquisitive-Broad where annotators were asked to label a question-answer pair on a Likert scale and give explanations for their judgments. Our proposed explanation-based rescaling (EBR) method maps these judgments using an aspect specific scoring rubric to scores that accurate