[논문 리뷰] Trapping LLM Hallucinations Using Tagged Context Prompts

Philip Feldman, James R. Foulds외 1명|arXiv (Cornell University)|2023. 06. 09.

Topic Modeling인용 수 13

한 줄 요약

논문은 태그된 맥락 프롬 prompts를 통해 LLM 환각을 탐지하고 감소시키며, 맥락 프롬프트 내에 소스 태그를 삽입하여 테스트 설정에서 약 98.88%에 달하는 환각 제거를 달성했다.

ABSTRACT

Recent advances in large language models (LLMs), such as ChatGPT, have led to highly sophisticated conversation agents. However, these models suffer from "hallucinations," where the model generates false or fabricated information. Addressing this challenge is crucial, particularly with AI-driven platforms being adopted across various sectors. In this paper, we propose a novel method to recognize and flag instances when LLMs perform outside their domain knowledge, and ensuring users receive accurate information. We find that the use of context combined with embedded tags can successfully combat hallucinations within generative language models. To do this, we baseline hallucination frequency in no-context prompt-response pairs using generated URLs as easily-tested indicators of fabricated data. We observed a significant reduction in overall hallucination when context was supplied along with question prompts for tested generative engines. Lastly, we evaluated how placing tags within contexts impacted model responses and were able to eliminate hallucinations in responses with 98.88% effectiveness.

연구 동기 및 목표

• 실용적인 AI 배치에서 LLM 환각 문제를 동기 부여하고 해결한다.
• 모델 도메인 지식 밖의 출력들을 인식하고 이를 잠재적 환각으로 표시하는 방법을 개발한다.
• 맥락과 내장 소스 태그가 다양한 모델에서 LLM 응답과 환각 비율에 어떤 영향을 미치는지 평가한다.

제안 방법

• 맥락 효과를 테스트하기 위해 요약된 위키피디아 기사와 한 저자의 책에서 파생된 맥락 프롬프트와 짝지어진 다양한 질문 집합을 생성한다.
• 맥락 프롬프트 내에 고유 소스 태그(source x)를 삽입해 모델 응답을 유도한다.
• 태깅된 맥락을 포함한 맥락이 풍부한 프롬프트와 맥락이 없는 프롬프트를 사용해 다수의 GPT-계열 모델을 테스트한다.
• 결과를 구조화된 JSON에 저장하고 사용자용 출력에 대해 원시 응답과 정제된 응답을 구분하기 위해 정규 표현식을 사용한다.

실험 결과

연구 질문

• RQ1 맥락 정보를 제공하는 것이 서로 다른 모델들에서 LLM 응답의 환각을 감소시키는가?
• RQ2 맥락 프롬프트 내에 삽입된 소스 태그가 제공된 소스에 대한 답변의 근거를 강화하는가?
• RQ3 일치/불일치 맥락의 관련성이 환각 비율과 소스 사용에 어떤 영향을 미치는가?

주요 결과

• 맥락 프롬프트는 환각을 상당히 감소시키며, 맥락이 없을 때의 URL이 2,445에서 맥락 활성화 설정의 48로 감소했다.
• 태깅된 맥락은 환각을 거의 완전하게 완화시키며, 태깅된 맥락에서 관찰된 URL 환각은 단 2건에 불과했다(≈99.88% 감소).
• 대부분의 태깅된 응답은 제공된 소스를 참조하며, 244개의 태깅 응답 중 자동 평가로 확인되지 못한 인스턴스는 단 하나였다.
• 일치하지 않는 맥락의 경우에도 일부 올바른 소스 참조가 나타나 향후 추가 연구가 필요한 에지 케이스 동작을 시사한다.