[논문 리뷰] Factuality Challenges in the Era of Large Language Models

Isabelle Augenstein, Timothy Baldwin외 16명|arXiv (Cornell University)|2023. 10. 08.

Topic Modeling인용 수 33

한 줄 요약

이 논문은 대형 언어 모델(LLMs)의 사실성 위험과 오용을 조사하고, 환각 경향을 분석하며, 완화, 규제, 책임 있는 사용을 위한 다각적 의제를 제안한다.

ABSTRACT

The emergence of tools based on Large Language Models (LLMs), such as OpenAI's ChatGPT, Microsoft's Bing Chat, and Google's Bard, has garnered immense public attention. These incredibly useful, natural-sounding tools mark significant advances in natural language generation, yet they exhibit a propensity to generate false, erroneous, or misleading content -- commonly referred to as "hallucinations." Moreover, LLMs can be exploited for malicious applications, such as generating false but credible-sounding content and profiles at scale. This poses a significant challenge to society in terms of the potential deception of users and the increasing dissemination of inaccurate information. In light of these risks, we explore the kinds of technological innovations, regulatory reforms, and AI literacy initiatives needed from fact-checkers, news organizations, and the broader research and policy communities. By identifying the risks, the imminent threats, and some viable solutions, we seek to shed light on navigating various aspects of veracity in the era of generative AI.

연구 동기 및 목표

• LLM이 생성하는 잘못된 정보, 환각 및 기만적 콘텐츠의 위험을 평가한다.
• 사실 확인, 공공 신뢰 및 정보 신뢰성에 대한 LLM의 영향을 분석한다.
• 사실성 문제를 완화하기 위한 기술적, 규제적, 교육적 전략을 식별한다.
• GenAI에서의 진실성을 탐색하기 위해 정렬, 검색 기반 생성, 평가 및 거버넌스를 결합한 통합 프레임워크를 제안한다.
• 사실 확인자와 기자들이 LLM을 책임감 있게 활용할 수 있는 기회를 강조한다.

제안 방법

• LLM 환각, 사실성 및 허위 정보에 관한 문헌을 검토하고 종합한다.
• 악의적 LLM 사용과 관련된 위험 요소와 임박한 위협을 특징화한다.
• 정렬, 검색 보강 생성, 지식 편집을 포함한 기존 및 제안된 완화 전략을 논의한다.
• 사실성 평가의 도전과 TruthfulQA, GPTScore, G-Eval, SelfCheckGPT와 같은 새로운 사실성 지표의 등장을 평가한다.
• 개인, 조직 및 정부를 위한 정책, 교육 및 규제 지향 권고안을 제안한다.

실험 결과

연구 질문

• RQ1 LLMs가 제기하는 주요 사실성 관련 위험과 위협 및 그 잠재적 오용은 무엇인가?
• RQ2 현재의 평가 지표가 사실성을 어떻게 포착하며 그 한계는 무엇인가?
• RQ3 환각을 완화하고 GenAI 출력의 진실성을 개선할 수 있는 기술적 및 거버넌스 전략은 무엇인가?
• RQ4 사실 확인자와 기자들이 잘못된 정보를 확대하지 않고 검증을 지원하기 위해 LLM을 어떻게 활용할 수 있는가?
• RQ5 사회에서 GenAI의 진실성을 탐색하기 위해 필요한 규제 및 교육 체계는 무엇인가?

주요 결과

• LLMs는 일관적이지만 종종 뒷받침되지 않거나 부정확한 콘텐츠를 생성하여 검증에 상당한 도전을 제기한다.
• 환각은 훈련 데이터, 모델 정렬 및 투명한 출처의 부족에 의해 좌우되며 사실 확인과 공공 신뢰를 복잡하게 만든다.
• 검색 보강 생성과 지식 편집은 사실성을 개선할 유망한 경로를 제공하지만 확장 가능한 근거 제시와 신중한 평가가 필요하다.
• 사실성에 대한 평가 지표는 인간 판단과의 상관관계가 미미하게 나타나며 도메인 또는 맥락에 따라 다를 수 있다.
• 워터마킹, 콘텐츠 출처 및 규제 프레임워크는 보조 수단으로 논의되며 효과는 모델의 공개성 및 공격자의 능력에 따라 달라진다.
• 사실 확인자가 LLM을 활용해 주장들을 전사하고 요약하며 정리할 수 있는 실질적인 기회가 있지만 자동화로 인한 오류 및 의도치 않은 결과의 위험도 인식해야 한다.