[논문 리뷰] Automatic Evaluation of Attribution by Large Language Models

Xiang Yue, Boshi Wang외 4명|arXiv (Cornell University)|2023. 05. 10.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(LM)에서 추론의 정확성을 평가하기 위한 AttrScore라는 프레임워크를 소개한다. 이 프레임워크는 오류를 기여 가능, 외삽적, 모순적 유형으로 분류하며, 질문-응답, 사실 확인, 자연어 추론, 요약 작업에서 유사한 데이터를 재사용한 소규모 언어 모델의 few-shot 프롬프팅 및 피니테이닝을 평가하여 합리적인 성능를 달성하지만, 미세한 정보 처리 및 기호 연산 처리에서의 과제를 드러낸다.

ABSTRACT

A recent focus of large language model (LLM) development, as exemplified by generative search engines, is to incorporate external references to generate and support its claims. However, evaluating the attribution, i.e., verifying whether the generated statement is fully supported by the cited reference, remains an open problem. Although human evaluation is common practice, it is costly and time-consuming. In this paper, we investigate the automatic evaluation of attribution given by LLMs. We begin by defining different types of attribution errors, and then explore two approaches for automatic evaluation: prompting LLMs and fine-tuning smaller LMs. The fine-tuning data is repurposed from related tasks such as question answering, fact-checking, natural language inference, and summarization. We manually curate a set of test examples covering 12 domains from a generative search engine, New Bing. Our results on this curated test set and simulated examples from existing benchmarks highlight both promising signals and challenges. We hope our problem formulation, testbeds, and findings will help lay the foundation for future studies on this important problem.

연구 동기 및 목표

• 생성 검색과 같은 응용 분야에서 신뢰성 확보에 핵심적인 자동화된 평가 방법의 부족 문제를 해결하기 위해 확장 가능한 자동 평가 방법을 제공한다.
• 이진 또는 거시적 분류를 넘어서, 기여 가능, 외삽적, 모순적 유형의 세분화된 오류 분류 체계를 정의한다.
• LLM을 사용한 few-shot 프롬프팅과 관련 NLP 작업에서 유사한 데이터를 재사용하여 소규모 모델을 피니테이닝하는 두 가지 자동 평가 방법을 개발하고 평가한다.
• 데이터 오염을 방지하고 신뢰할 수 있는 평가를 가능하게 하기 위해 뉴 빙(New Bing)의 실제 쿼리에서 유래한 12개 도메인의 새로운 실세계 테스트 세트를 구축한다.
• 자동 추론 평가에서의 주요 실패 유형을 특정하며, 맥락적 단서를 간과하거나 수치 비교를 잘못 처리하는 등의 문제를 밝혀낸다.

제안 방법

• 세 가지 유형의 추론 오류 분류 체계를 제안한다: (1) 기여 가능(참고 자료가 주장에 완전히 뒷받침함), (2) 외삽적(참고 자료의 지원이 부족함), (3) 모순적(참고 자료와 직접적으로 모순됨).
• LLM(예: ChatGPT)을 사용한 zero-shot 프롬프팅 방법을 설계하며, few-shot 예시를 포함하여 추론 유형을 분류한다.
• 질문-응답, 사실 확인, 자연어 추론, 요약 작업에서 유사한 데이터를 재사용한 합성 데이터셋을 기반으로 소규모 언어 모델을 피니테이닝한다.
• 실제 뉴 빙 쿼리에서 유래한 12개의 실세계 도메인으로 구성된 새로운 테스트 세트를 구축하여 평가의 정밀도를 확보하고 벤치마크에서의 데이터 泄露를 방지한다.
• 모델 예측의 정확도를 평가하기 위해 인간이 애너테이션한 골드 표준을 사용하며, 오류 유형 분류 및 실패 유형 분석에 집중한다.
• 오분류 패턴을 분석하여 반복적으로 나타나는 실패 유형을 특정하며, 수치 값, 날짜, 기호 연산에 대한 민감도 부족과 같은 문제를 밝혀낸다.

실험 결과

연구 질문

• RQ1 세분화된 오류 분류 체계를 기반으로 LLM을 사용한 few-shot 프롬프팅을 통해 자동 추론 평가를 신뢰성 있게 수행할 수 있는가?
• RQ2 LLM 프롬프팅 대비, 관련 NLP 작업에서 유사한 데이터를 재사용하여 소규모 모델을 피니테이닝하는 것이 추론 분류에 얼마나 효과적인가?
• RQ3 자동 추론 평가에서의 주요 실패 유형은 무엇이며, 이는 모델의 행동과 어떻게 관련되는가?
• RQ4 생성 검색 엔진의 실세계 쿼리를 기반으로 한 데이터를 사용할 경우, 합성 또는 벤치마크 기반 데이터에 비해 평가의 타당성이 얼마나 향상되는가?
• RQ5 모델은 수치 불일치나 맥락적 오해와 같은 미세한 오류를 얼마나 잘 탐지하는가?

주요 결과

• LLM 기반 프롬프팅 방법은 구축한 테스트 세트에서 합리적인 성능를 보였지만, 맥락적 단서를 간과하는 데서 기인한 오류로 인해 자주 실패했으며, 이는 전체 오류의 79.4%를 차지했다.
• 세부 정보에 민감도가 떨어지는 문제, 즉 수치나 날짜 비교를 실패하는 것은 오분류의 13.8%를 차지했다.
• 기호 연산 처리 실패, 예를 들어 저자 소속 또는 집합 소속 확인에 실패한 경우는 오류의 6.8%를 차지했으며, 이는 논리적 추론 능력의 한계를 시사한다.
• 피니테이닝된 모델은 프롬프팅 대비 더 높은 내성적 안정성을 보였으며, 특히 미세한 의미적 차이를 다룰 때 유리했지만, 복잡한 케이스에서는 여전히 성능이 부족했다.
• 두 방법 모두 정량적 또는 시간적 세부 정보를 정확히 비교해야 하는 참조 자료 처리에서 어려움을 겪었으며, 이는 자동 추론 평가의 핵심 과제임을 보여준다.
• 뉴 빙에서 유래한 구축된 테스트 세트는 기존 벤치마크와 상당한 분포적 차이를 보였으며, 실세계 평가 데이터의 필요성을 입증한다.