[논문 리뷰] A Survey of Large Language Models Attribution

Dongfang Li, Zetian Sun외 6명|arXiv (Cornell University)|2023. 11. 07.

Topic Modeling인용 수 5

한 줄 요약

이 종합적 리뷰는 대규모 언어 모델(Large Language Models, LLMs)의 소스 기반 기여도 기법을 종합적으로 분석하며, 사전 훈련 데이터, 모델 외부 지식 등 기여도 원천을 분류하고 평가 방법 및 기여도 추적 기법(직접 생성, 후기 추출, 후생성 기법 등)을 다룹니다. 저자들은 낮은 재현율, 환각 현상, 편향 등의 주요 과제를 규명하고, 사실적 일관성과 검증 가능성을 향상시키기 위한 분류 체계를 제안합니다.

ABSTRACT

Open-domain generative systems have gained significant attention in the field of conversational AI (e.g., generative search engines). This paper presents a comprehensive review of the attribution mechanisms employed by these systems, particularly large language models. Though attribution or citation improve the factuality and verifiability, issues like ambiguous knowledge reservoirs, inherent biases, and the drawbacks of excessive attribution can hinder the effectiveness of these systems. The aim of this survey is to provide valuable insights for researchers, aiding in the refinement of attribution methodologies to enhance the reliability and veracity of responses generated by open-domain generative systems. We believe that this field is still in its early stages; hence, we maintain a repository to keep track of ongoing studies at https://github.com/HITsz-TMG/awesome-llm-attributions.

연구 동기 및 목표

• 열린 도메인 LLM에서 지속적인 환각 현상 문제를 해결하기 위해 기여도 기반 추적을 통해 사실적 일관성을 향상시키기 위해.
• 사전 훈련 데이터 및 외부 지식 등 기여도 원천을 체계적으로 분류하여 정보 기원을 명확히 하기 위해.
• 직접 생성, 후기 추출, 후생성, 전용 시스템 등 기존 기여도 기법을 검색 및 추론 작업 전반에서 평가하기 위해.
• 낮은 재현율, 모호한 기여도 원천, 모델 편향 등 기여도 기반 추적의 신뢰성을 저해하는 주요 과제를 규명하기 위해.
• 통합된 분류 체계를 제공하고, 지속적인 연구를 지원하기 위해 공개된 GitHub 리포지터리(https://github.com/HITsz-TMG/awesome-llm-attributions)를 유지하기 위해.

제안 방법

• 기여도 원천을 사전 훈련 데이터(예: ORCA, ROOTS)와 모델 외부 지식(예: 검색 증강, Retro, FiD)으로 분류하기.
• 기여도 추적 기법을 네 가지 유형으로 분류: 직접 생성 기반 기여도(예: RECITE, IFL), 후기 추출 기반 답변(예: SearChain, Self-RAG), 후생성 기반 기여도(예: RARR, SAPLMA), 전용 기여도 시스템(예: WebGPT, GopherCite).
• 평가 지표를 핵심 성능 차원에 대응시켜 맵핑: 검증 가능성(예: FActScore, AttrScore), 충실도(예: XOR-AttriQA), 신뢰성(예: WICE, Auto-AIS).
• 기여도 기반 추적과 모델 투명성 간의 연결을 위해 해석 가능성 원칙을 통합하며, 추적 가능성과 사용자 신뢰를 강조하기.
• 계층적 분류 체계(그림 2)를 활용해 기여도 기반 추적의 전반적 구조를 체계적으로 정리하고, 비교 및 연구 탐색을 용이하게 하기.
• 지속적으로 변화하는 기법과 데이터셋을 추적하기 위해 공개된 GitHub 리포지터리(https://github.com/HITsz-TMG/awesome-llm-attributions)를 유지하기.

실험 결과

연구 질문

• RQ1 직접 생성, 후기 추출, 후생성 기반 기여도 기법 간 재현율, 정밀도, 검증 가능성 측면에서의 성능 비교는 어떻게 되는가?
• RQ2 LLM이 사용하는 주요 정보 원천은 무엇이며, 이는 기여도 기반 추적의 신뢰성에 어떤 영향을 미치는가?
• RQ3 기존 평가 벤치마크(예: CiteBench, ALCE, HAGRID)가 사실적 일관성과 기여도 추적 가능성을 얼마나 정확히 측정하는가?
• RQ4 기여도 기법은 환각 현상을 어떻게 완화하면서도 모델의 일관성과 응답 품질을 유지하는가?
• RQ5 실제 LLM 응용에서 높은 재현율, 낮은 편향을 달성하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 기여도 기반 추적은 사용자가 주장의 근거를 추적할 수 있도록 함으로써 LLM 출력의 검증 가능성과 신뢰도를 크게 향상시키며, 검증 불가능한 생성에 의존하는 것을 줄인다.
• 후생성 기반 기여도 기법(예: RARR, SAPLMA)은 생성 후 환각된 주장을 식별하고 수정하는 데 있어 잠재력을 보이고 있으나, 여전히 재현율이 일관되지 않다.
• FActScore 및 AttrScore와 같은 평가 벤치마크는 현재 모델이 관련 기여도 원천을 제대로 인용하지 못함을 보여주며, 복잡한 사실 기반 질의 응답 작업에서 평균 FActScore 값이 0.6 이하에 머무르는 경향이 있다.
• 직접 기여도 기법(예: IFL, RECITE)은 높은 정밀도를 달성하지만, 특히 분포 외부 또는 희귀한 사실에 대해서는 재현율이 낮은 편이다.
• 검색 증강 기반 접근(예: Self-RAG, LLatrieval)은 검색된 문서에 기반한 응답을 제공함으로써 사실적 일관성을 향상시키지만, 검색 품질에 크게 의존한다.
• 본 리뷰는 높은 재현율 기여도 기반 추적의 핵심 격차를 규명한다: 대부분의 기법이 모든 관련 기여도 원천을 인용하지 못해, 특히 다단계 추론이나 복잡한 추론 작업에서 부정확하거나 오해의 소지가 있는 추적 가능성이 발생한다.