[논문 리뷰] PURR: Efficiently Editing Language Model Hallucinations by Denoising Language Model Corruptions

Anthony Chen, Panupong Pasupat외 3명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 6

한 줄 요약

PURR는 대규모 언어 모델을 통해 생성된 합성 오염 데이터를 기반으로 보다 효율적으로 언어 모델의 환각 현상을 편집하기 위한 비지도 학습 방법을 제안한다. 이 방법은 레이블이 없는 훈련 데이터나 훈련 중 쌍으로 된 증거 자료가 필요 없이도, 프롬프트 기반 편집 방법에 비해 훨씬 빠르면서도 더 뛰어난 속성 부여 성능을 달성한다.

ABSTRACT

The remarkable capabilities of large language models have been accompanied by a persistent drawback: the generation of false and unsubstantiated claims commonly known as "hallucinations". To combat this issue, recent research has introduced approaches that involve editing and attributing the outputs of language models, particularly through prompt-based editing. However, the inference cost and speed of using large language models for editing currently bottleneck prompt-based methods. These bottlenecks motivate the training of compact editors, which is challenging due to the scarcity of training data for this purpose. To overcome these challenges, we exploit the power of large language models to introduce corruptions (i.e., noise) into text and subsequently fine-tune compact editors to denoise the corruptions by incorporating relevant evidence. Our methodology is entirely unsupervised and provides us with faux hallucinations for training in any domain. Our Petite Unsupervised Research and Revision model, PURR, not only improves attribution over existing editing methods based on fine-tuning and prompting, but also achieves faster execution times by orders of magnitude.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)에서 발생하는 사실적 정확도가 떨어지고 환각적인 출력을 해결하기 위함.
• 실시간 편집을 위해 대규모 모델을 활용하는 프롬프트 기반 편집 방법의 높은 추론 비용을 줄이기 위함.
• 피드백 데이터의 부족 문제를 해결하기 위해 완전히 비지도 방식으로 합성된 환각-오염 쌍을 생성함으로써 미세조정된 편집기의 훈련 데이터 부족 문제를 해결하고자 함.
• 다양한 도메인과 작업에 걸쳐 사실 기반 속성 부여 성능을 향상시키는 컴act하고 효율적인 편집기를 개발하고자 함.

제안 방법

• 검색된 증거에서 유도된 사실적 진술을 오염시켜 대규모 언어 모델을 활용해 합성 환각 현상을 생성함.
• 주제적으로 관련성이 높은 증거를 검색하고, 이를 요약하여 진술로 만들며, LLM 기반의 오염을 적용하여 노이즈가 있는 훈련 예제를 생성하는 데이터 생성 파이프라인을 구축함.
• 검색된 증거를 문맥으로 사용하여 오염된 진술을 복원하는 데 목적이 있는 컴act한 퍼지온-디코더 T5 모델(PURR)을 미세조정함.
• 수동으로 정제된 편집 데이터나 훈련 중 쌍으로 된 증거 자료가 필요 없이 완전히 비지도 방식으로 편집기를 훈련함.
• 추론 시점에, 잘못된 근거 없는 진술을 수정하기 위해 검색 쿼리를 생성하고 증거를 검색하며, 사실적으로 일관된 문장으로 재작성하는 데에 해당 편집기를 사용함.

(a) Training PURR. Given a seed query, we search for relevant evidence and summarize them into a claim which we corrupt. PURR is trained to denoise the corruption conditioned on the evidence.

실험 결과

연구 질문

• RQ1 LLM 기반의 비지도 데이터 생성 파이프라인은 효율적인 편집기를 훈련하기 위해 고품질이고 다양한 환각-오염 쌍을 생성할 수 있는가?
• RQ2 LLM에 의해 생성된 오염 데이터를 기반으로 훈련된 컴act한 미세조정된 편집기는 대규모 모델을 사용하는 프롬프트 기반 편집 방법에 비해 정확도와 속도 면에서 뛰어나게 성능을 발휘하는가?
• RQ3 복원 기반 접근 방식은 도메인 특화 훈련 데이터가 없이도 다양한 도메인과 벤치마크에서 일반화 가능한가?
• RQ4 합성 오염 데이터를 기반으로 훈련된 컴act한 편집기의 성능은, 동일한 LLM이 여러 데이터셋에서 소수의 예제를 활용해 프롬프팅할 때의 성능에 비해 어떻게 되는가?

주요 결과

• PURR는 Natural Questions, TriviaQA, WebQ 등 여러 벤치마크에서 대규모 언어 모델을 사용하는 프롬프트 기반 편집 방법에 비해 속성 부여 성능을 향상시킴.
• 기본 프롬프트 기반 편집 방법 대비 평균 20-30%의 상대적 향상률을 기록함.
• LLM 기반 편집 방법 대비 최대 100배 빠른 실행 속도를 확보하여 저지연 응용 분야에서 실시간 추론이 가능함.
• LLM이 오염 데이터를 생성한 것과 동일한 LLM을 소수의 예제를 활용해 프롬프팅할 때의 성능을 뛰어넘는 복원 기반 접근 방식이 성공함.
• 오류 분석 결과, 주요 실패 원인은 잘못된 증거 검색이었으며, 편집 메커니즘 자체는 견고함을 입증함.
• 이 방법은 완전히 비지도이며 일반화 가능하며, 훈련 중 레이블이 있는 편집 데이터나 쌍으로 된 증거 자료가 필요 없어 다양한 도메인에 배포가 가능함.

(b) Using PURR. Given an ungrounded statement, we generate questions to search for relevant evidence which is then used to produce an edit.