[논문 리뷰] A Token-level Reference-free Hallucination Detection Benchmark for Free-form Text Generation

Tianyu Liu, Yizhe Zhang외 5명|arXiv (Cornell University)|2021. 04. 18.

Topic Modeling인용 수 14

한 줄 요약

이 논문은 참조 없이 토큰 수준에서 환각을 탐지할 수 있는 기준이 되는 HaDes를 소개한다. 이는 훼손된 위키백과 문서와 인류 기반의 주석을 사용하여, 자유형 텍스트 생성을 위한 기준이 되는 벤치마크이다. 이는 참조에 의존하지 않고 세밀한 환각을 탐지할 수 있는 새로운 과제를 제안하며, 반복적인 모델-인-더-루프 주석 방식과 함께 약 11,000개의 인스턴스에 대한 종합적인 기준 모델을 통해 생성 중 실시간 탐지가 가능하도록 한다.

ABSTRACT

Large pretrained generative models like GPT-3 often suffer from hallucinating non-existent or incorrect content, which undermines their potential merits in real applications. Existing work usually attempts to detect these hallucinations based on a corresponding oracle reference at a sentence or document level. However ground-truth references may not be readily available for many free-form text generation applications, and sentence- or document-level detection may fail to provide the fine-grained signals that would prevent fallacious content in real time. As a first step to addressing these issues, we propose a novel token-level, reference-free hallucination detection task and an associated annotated dataset named HaDes (HAllucination DEtection dataSet). To create this dataset, we first perturb a large number of text segments extracted from English language Wikipedia, and then verify these with crowd-sourced annotations. To mitigate label imbalance during annotation, we utilize an iterative model-in-loop strategy. We conduct comprehensive data analyses and create multiple baseline models.

연구 동기 및 목표

• 참조가 없는 세밀한 수준의 환각 탐지가 자유형 텍스트 생성에서 부족한 문제를 해결하기 위해, 실제 기준 참조가 자주 확보되지 않는 상황을 고려한다.
• 이전 문맥만을 사용하여 환각 토큰을 식별함으로써 온라인 생성 중 실시간 환각 탐지를 가능하게 한다.
• 인간 주석에서 발생하는 레이블 불균형에도 불구하고 균형 잡히고 고도로 품질이 높은 데이터셋을 토큰 수준의 환각 탐지에 적합하도록 구축한다.
• 향후 실시간 환각 완화 시스템 개발을 위한 기초 기준을 마련하기 위해 특징 기반 및 미세조정된 사전학습 모델을 사용하여 초기 기준 모델을 수립한다.
• 오프라인 후처리 분석과 자연어 생성(NLG) 시스템에서의 온라인 실시간 개입을 모두 지원하는 벤치마크를 제공한다.

제안 방법

• 영어 위키백과의 문단을 변형하여 환각을 시뮬레이션하고, 환각 콘텐츠를 위한 현실적인 학습 예제를 생성한다.
• 반복적인 모델-인-더-루프 전략을 사용하여 인류 기반 주석을 이끌어내며, 환각 탐지에서의 레이블 불균형 문제를 해결하고 주석 품질을 향상시킨다.
• 각 스팬을 "환각" 또는 "환각 아님"으로 분류하는 이진 분류 과제로 토큰 수준에서 문제를 정의한다.
• 오프라인(양방향 문맥)과 온라인(단방향 이전 문맥)의 두 가지 설정을 설계하여 실제 생성 시나리오를 시뮬레이션한다.
• 모델이 제공하는 제안을 바탕으로 인간 주석자들이 사용하여 약 11,000개의 인스턴스를 위키백과에서 수집하고 주석을 달았다.
• HaDes 데이터셋에서 특징 기반 모델과 미세조정된 사전학습 모델을 포함한 여러 기준 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 참조가 없는 토큰 수준의 환각 탐지 과제가 자유형 텍스트 생성을 위해 효과적으로 정의되고 주석이 달 수 있는가?
• RQ2 데이터셋 생성 과정에서 인류 기반 환각 주석의 레이블 불균형 문제를 어떻게 완화할 수 있는가?
• RQ3 자유형 텍스트 생성에서 환각 스팬의 주요 언어적 및 사실적 특성은 무엇인가?
• RQ4 다양한 모델 아키텍처는 제안된 토큰 수준 환각 탐지 벤치마크에서 어떻게 성능을 내는가?
• RQ5 참조가 없는 탐지 모델은 온라인 생성 중 실시간으로 환각을 얼마나 잘 탐지할 수 있는가?

주요 결과

• HaDes 데이터셋은 위키백과에서 훼손 기반 데이터 수집 전략을 사용하여 추출한 약 11,000개의 환각 및 비환각 스팬 주석 인스턴스를 포함한다.
• 반복적인 모델-인-더-루프 주석 방식은 데이터셋의 주석 품질을 크게 향상시키고 레이블 불균형 문제를 완화시켰다.
• 특징 기반 및 미세조정된 사전학습 모델을 포함한 기준 모델들이 토큰 수준의 환각 탐지 과제에서 측정 가능한 성능을 달성하였으며, 초기 기준을 확립하였다.
• 데이터셋은 자유형 텍스트에서의 환각이 종종 미세하고 국소적인 특징을 띠며, 일반적으로 토큰 수준에서 사실 불일치나 비현실적인 주장이 포함되어 있음을 드러냈다.
• 벤치마크의 오프라인 및 온라인 설정은 이중 방향 문맥이 제공될 경우 문맥 인식 모델이 더 높은 정확도로 환각을 탐지할 수 있음을 보여주었다.
• 결과적으로 토큰 수준의 탐지가 실시간 개입에 가능하고 유의미하며, 특히 참조가 확보되지 않은 상황에서 매우 유용하다는 것이 제안된다.