[논문 리뷰] Attributed Question Answering: Evaluation and Modeling for Attributed Large Language Models

Bernd Bohnet, Vinh Q. Tran외 20명|arXiv (Cornell University)|2022. 12. 15.

Topic Modeling인용 수 26

한 줄 요약

논문은 속성 QA를 정의하고, 인간 AIS와 자동 AutoAIS 지표로 재현 가능한 평가 프레임워크를 확립하며, 여러 아키텍처를 벤치마크하고, 속성 평가가 전통적 QA 지표와 어떻게 상관관계가 있는지 분석한다.

ABSTRACT

Large language models (LLMs) have shown impressive results while requiring little or no direct supervision. Further, there is mounting evidence that LLMs may have potential in information-seeking scenarios. We believe the ability of an LLM to attribute the text that it generates is likely to be crucial in this setting. We formulate and study Attributed QA as a key first step in the development of attributed LLMs. We propose a reproducible evaluation framework for the task and benchmark a broad set of architectures. We take human annotations as a gold standard and show that a correlated automatic metric is suitable for development. Our experimental work gives concrete answers to two key questions (How to measure attribution?, and How well do current state-of-the-art methods perform on attribution?), and give some hints as to how to address a third (How to build LLMs with attribution?).

연구 동기 및 목표

• Attributed QA와 속성 LLM에 대한 동기를 정의한다.
• 속성에 대한 재현 가능한 인간 및 자동 평가 프레임워크를 제안한다.
• 다양한 감독 하에서 다양한 아키텍처(RTR, 포스트-호크, LLM-상-검색) 벤치마크한다.
• AIS, EM, AutoAIS 간의 상관관계를 분석하여 평가 신호를 이해한다.
• LLM에서 속성 메커니즘 구축에 대한 통찰과 권고를 제시한다.

제안 방법

• Attributed QA 태스크를 (answer, attribution) 쌍으로 정의하며, attribution이 고정된 말뭉치 단위로 가리킨다.
• 다수결 표결 및 부트스트랩 오차 추정으로 골드 표준으로 인간 AIS 주석을 수집한다.
• 사전에 학습된 NLI 분류기를 사용하여 attribution c에서 (x, a)의 함의 여부를 판단하는 자동 평가로 AutoAIS를 채택한다.
• 다양한 감독 하에서 구현 및 평가하는 여러 아키텍처: Retrieve-then-read (RTR), 포스트-호크 검색, LLM-as-retriever, varying supervision (NQ-full, NQ-64, NQ-full with exemplars).
• AIS를 포함한 속성 중심 지표를 EM 및 AutoAIS와 비교하여 상관관계를 연구한다.
• 검색 전략, 예시 사용, 재순위 지정에 대한 ablations를 제공한다.

실험 결과

연구 질문

• RQ1 QA 출력에 대한 속성을 어떻게 측정해야 하는가?
• RQ2 현재 최첨단 방법들이 아키텍처 전반에서 속성 측면에서 얼마나 잘 작동하는가?
• RQ3 속성 평가(AIS)와 전통적 QA 지표(EM, AutoAIS) 간의 관계는 무엇인가?
• RQ4 신뢰할 수 있는 속성을 갖춘 LLM을 구축하는 데 어떤 설계 선택이 도움이 되는가?
• RQ5 후처리 속성 부여가 엔드-투-엔드 속성 부여에 비해 가능한가?

주요 결과

아키텍처	EM	AutoAIS	AIS (±SE)
Retrieve-then-read	41.1	66.3	65.5±1.5
+ AutoAIS reranking	53.3	-	71.4±1.4
Post-hoc-retrieval	49.5	53.9	55.6±1.5
+ AutoAIS reranking	49.5	-	59.0±1.5
Low resource	39.5	41.9	48.6±1.6
LLM-as-retriever	50.1	41.5	46.0±1.6

• AutoAIS는 시스템 수준에서 인간 AIS와 높은 상관관계를 보이며(r = 0.96), 개발 지표로의 활용을 뒷받침한다.
• 최고의 RTR 시스템이 속성에서 가장 높은 AIS를 달성하며, 모델 크기가 더 작아도 포스트-호크 시스템을 능가한다.
• Dense retrieval(GTR)과 더 많은 예시(NQ-full)를 활용하는 것이 AIS보다 EM을 더 크게 향상시키며, 속성은 여전히 도전적이다.
• 엔드-투-엔드 LLM-as-retriever 접근법은 큰 파라메타 LLM에서 AIS가 경쟁력 있지만 상당한 감독 또는 자원이 필요하다.
• EM과 AIS의 상관관계는 그리 높지 않아(r = 0.45), 더 높은 EM이 더 나은 속성을 보장하지 않는다는 것을 시사한다.
• AutoAIS를 이용한 재순위 지정은 AIS를 개선할 수 있지만 인스턴스 단위에서 인간 판단보다 낮을 수 있다.