[논문 리뷰] RELIC: Investigating Large Language Model Responses using Self-Consistency

Furui Cheng, Vilém Zouhar외 4명|arXiv (Cornell University)|2023. 11. 28.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 동일한 프롬프트에 대한 여러 생성 결과 간의 자기 일관성(self-consistency)을 측정함으로써 대규모 언어 모델(LLM) 출력의 신뢰성을 향상시키는 상호작용형 시스템 RELIC을 제안한다. 응답을 원자적 진술로 분해하고 자연어 추론을 사용하여 표본 간 일관성을 평가함으로써, RELIC은 시각화된 모순과 근거를 통해 사용자가 환각 현상을 탐지할 수 있도록 하며, 사용자 연구에서 사실 검증 능력이 크게 향상된다.

ABSTRACT

Large Language Models (LLMs) are notorious for blending fact with fiction and generating non-factual content, known as hallucinations. To address this challenge, we propose an interactive system that helps users gain insight into the reliability of the generated text. Our approach is based on the idea that the self-consistency of multiple samples generated by the same LLM relates to its confidence in individual claims in the generated texts. Using this idea, we design RELIC, an interactive system that enables users to investigate and verify semantic-level variations in multiple long-form responses. This allows users to recognize potentially inaccurate information in the generated text and make necessary corrections. From a user study with ten participants, we demonstrate that our approach helps users better verify the reliability of the generated text. We further summarize the design implications and lessons learned from this research for future studies of reliable human-LLM interactions.

연구 동기 및 목표

• 모델이 유창하지만 사실적으로 잘못된 내용을 생성하는 LLM 생성 텍스트의 환각 현상이라는 핵심 과제를 해결하기 위해.
• 동일한 프롬프트에 대한 다중 생성 간 의미 수준의 일관성 측정을 통해 사용자가 LLM 출력의 신뢰성을 평가할 수 있도록 상호작용형 시스템을 설계하기 위해.
• 근거 기반의 진술 수준 일관성 분석을 통해 사용자가 오류 있는 진술을 식별하고 수정할 수 있도록 지원하기 위해.
• 사용자가 LLM 출력의 자기 일관성을 어떻게 시각화하고 상호작용할 수 있는지에 대한 요구를 조사하여 신뢰도 향상과 의사결정 개선에 기여하기 위해.
• 사실 기반의 LLM 생성에 초점을 맞춘 향후 인간-AI 상호작용 시스템의 설계 시사점을 제공하기 위해.

제안 방법

• 자연어 처리를 사용하여 장문의 LLM 응답을 원자적 진술로 분해하여 개별 사실 진술을 고립시킨다.
• 사전에 학습된 자연어 추론(NLI) 모델을 활용하여 동일한 프롬프트에 대한 다중 생성 결과에서 각 원자적 진술이 지지되는지, 모순되는지, 또는 중립적인지 평가한다.
• 지지 또는 모순되는 응답의 비율에 기반해 각 진술에 대해 자기 일관성 점수를 계산하며, 이는 모델의 신뢰도를 대체하는 지표로 기능한다.
• 질문-응답 기반 파이프라인을 통합하여 다른 응답 샘플에서 지지 또는 모순되는 문장을 상호작용적으로 검색할 수 있도록 한다.
• 색상 기반 지표로 진술 수준의 일관성을 시각화하고, 사용자가 맥락 속에서 증거를 탐색할 수 있도록 하여 현장에서의 검증을 지원한다.
• 그림 2에 나타낸 바와 같이, 진술 추출, NLI 추론, 증거 검색을 연결하는 계산 파이프라인을 사용하여 실시간이고 상호작용 가능한 사실 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 인터페이스에서 사용자들은 LLM 생성 텍스트의 신뢰성을 어떻게 인식하고 평가하고 있는가?
• RQ2 다중 LLM 응답 간 자기 일관성을 효과적으로 전달하기 위해 가장 유용한 시각적 및 상호작용적 기능은 무엇인가?
• RQ3 진술 수준의 자기 일관성 탐지 기법이 사용자가 장문 텍스트 내에서 환각되거나 일관성 없는 정보를 식별하는 데 도움이 될 수 있는가?
• RQ4 다중 응답에서의 상호작용적 증거 검색은 사용자가 사실 진술을 검증하는 데 어떤 영향을 미치는가?
• RQ5 자기 일관성 시각화 기반 시스템을 사용한 사용자 상호작용에서 도출되는 설계 원칙은 무엇인가?

주요 결과

• 연구에 참여한 사용자들은 RELIC의 시각화된 진술 수준 일관성과 증거 검색 기능이 환각된 내용을 탐지하고 수정하는 데 있어 능력 향상에 기여했다고 보고했다.
• 참가자들은 이진 진술 레이블이나 신뢰도 점수보다도 특정 문장이 진술을 지지하거나 모순하는지를 보여주는 근거 기반 검증을 선호했다.
• 시스템은 사용자가 여러 응답 간 모순을 식별할 수 있도록 하였으며, 예를 들어 한 사람의 직업에 대해 서로 다른 사실이 제시되는 경우를 포함해, 일반적으로 유창한 표현에 의해 가려졌던 모순을 드러냈다.
• 사용자들은 개별 진술과 그 지지 또는 모순 증거를 검토할 수 있는 능력이 LLM 출력에 대한 신뢰를 구축하는 데 핵심적이라고 느꼈다.
• 초기 연구에서 사용자는 응답 간 일관성에 대한 압축된 요약과 함께 세밀하고 상호작용 가능한 탐색 기능이 필요하다는 점을 확인했다.
• 자기 일관성 접근법은 개별 응답이 매력적으로 들리더라도 여전히 일관성 없는 점을 드러내는 데 효과적이었으며, 이는 비사실적 내용 탐지에 있어 그 가치를 입증했다.