[논문 리뷰] Which Prompts Make The Difference? Data Prioritization For Efficient Human LLM Evaluation

M. Boubdir, Edward Kim외 3명|arXiv (Cornell University)|2023. 10. 22.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델의 효율적 인간 평가를 위해 KL 발산과 교차 엔트로피를 기반으로 프롬프트를 순위화하여 데이터 우선순위를 정하는 전략을 제안한다. 이는 모델 간의 구분 능력을 극대화하기 위한 것이다. 상위 20%의 우선순위가 부여된 인스턴스에서 타이(동점)율을 최대 54% 감소시켜 인간의 애너테이션 노력은 크게 줄이고, 안정적인 엘로 점수를 통해 견고한 성능 순위를 유지한다.

ABSTRACT

Human evaluation is increasingly critical for assessing large language models, capturing linguistic nuances, and reflecting user preferences more accurately than traditional automated metrics. However, the resource-intensive nature of this type of annotation process poses significant challenges. The key question driving our work: "is it feasible to minimize human-in-the-loop feedback by prioritizing data instances which most effectively distinguish between models?" We evaluate several metric-based methods and find that these metrics enhance the efficiency of human evaluations by minimizing the number of required annotations, thus saving time and cost, while ensuring a robust performance evaluation. We show that our method is effective across widely used model families, reducing instances of indecisive (or "tie") outcomes by up to 54% compared to a random sample when focusing on the top-20 percentile of prioritized instances. This potential reduction in required human effort positions our approach as a valuable strategy in future large language model evaluations.

연구 동기 및 목표

• 인간 평가의 자원 부담을 줄이기 위해 필요한 애너테이션 수를 최소화하는 것.
• 쌍별 비교에서 모델 응답을 가장 효과적으로 구분하는 프롬프트를 식별하는 것.
• 인간 평가에서 결정 불가능한(타이) 결과를 줄여 시간 낭비를 방지하고 평가 효율성을 높이는 것.
• 보다 견고하고 안정적인 모델 순위를 확보하기 위해 엘로 점수의 안정성과 수렴성을 향상시키기 위한 스마트한 프롬프트 선택 전략을 개발하는 것.
• 다양한 모델 패밀리에 적용 가능한 체계적이고 오프라인의 프롬프트 우선순위 정렬 방법을 개발하는 것.

제안 방법

• 모델 완성본 간의 KL 발산과 교차 엔트로피를 사용해 프롬프트의 이질성 정도를 추정하고 이를 기반으로 프롬프트를 순위화한다.
• 특히 높은 이질성을 보이는 상위 성능 프롬프트를 우선순위 평가 대상으로 선별하여 인간 평가에 활용한다.
• 각 프롬프트별로 인간 평가자가 모델 응답을 순위 매기는 쌍별 비교 형식을 사용한다.
• 모델 순위에 엘로 점수를 적용하고 평가 시퀀스 전반에 걸쳐 수렴성과 안정성을 추적한다.
• Flan-T5, Dolly-V2, MPT, Falcon을 포함한 다양한 모델 패밀리에서 본 방법의 성능을 벤치마킹한다.
• 우리의 방법이 랜덤 샘플링 대비 어떤 성과를 내는지 비교 분석한다.

실험 결과

연구 질문

• RQ1 쌍별 모델 비교에서 인간 평가자가 가장 결정적인 판단을 내리는 프롬프트는 무엇인가?
• RQ2 측정 기반의 프롬프트 우선순위 정렬이 평가 신뢰도를 유지하면서도 필요한 인간 애너테이션 수를 줄일 수 있는가?
• RQ3 프롬프트 우선순위 정렬이 인간 평가에서 타이 결과를 어느 정도 줄일 수 있는가?
• RQ4 프롬프트 순위 매기기가 엘로 기반 모델 순위의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ5 이 방법은 아키텍처와 훈련 데이터가 다른 다양한 모델 패밀리에 일반화 가능한가?

주요 결과

• 우선순위가 부여된 상위 20%의 프롬프트에서 랜덤 샘플링 대비 타이율을 최대 54% 감소시켰다.
• KL 발산 기반 순위 매기기가 교차 엔트로피 및 랜덤 선택 대비 결정 불가능한 결과를 더 효과적으로 줄였다.
• 특히 평가 초반 단계에서 우선순위가 부여된 프롬프트를 사용할 경우 엘로 점수가 더 빨리 수렴하고 더 높은 안정성을 보였다.
• Flan-T5, Dolly-V2, MPT, Falcon을 포함한 다양한 모델 패밀리에서 견고한 성능 평가를 유지했다.
• 동일 패밀리 내 모델 비교(예: Dolly-V2-7B 대비 12B)에서는 타이율이 높은 편이었지만, 우선순위 정렬을 통해 효과적으로 이를 감소시켰다.
• 우리의 방법은 훨씬 적은 인간 애너테이션 수로도 신뢰할 수 있는 모델 순위를 확보할 수 있었으며, 이는 시간과 비용 절감에 기여했다.