[논문 리뷰] Towards Trustable Language Models: Investigating Information Quality of Large Language Models

Rick Rejeleene, Xiaowei Xu외 1명|arXiv (Cornell University)|2024. 01. 23.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)에서 정보 품질을 평가하기 위한 새로운 수학적 프레임워크를 제안하며, 훈련 데이터의 편향과 토큰화로 인한 무결성 저하가 환각 현상의 주요 원인임을 규명한다. 신뢰성 향상을 체계적으로 도모하기 위해 척도 법칙을 도입하여, 정량적 품질 지표가 더 신뢰할 수 있는 LLM 개발을 이끌 수 있음을 입증한다.

ABSTRACT

Large language models (LLM) are generating information at a rapid pace, requiring users to increasingly rely and trust the data. Despite remarkable advances of LLM, Information generated by LLM is not completely trustworthy, due to challenges in information quality. Specifically, integrity of Information quality decreases due to unreliable, biased, tokenization during pre-training of LLM. Moreover, due to decreased information quality issues, has led towards hallucination, fabricated information. Unreliable information can lead towards flawed decisions in businesses, which impacts economic activity. In this work, we introduce novel mathematical information quality evaluation of LLM, we furthermore analyze and highlight information quality challenges, scaling laws to systematically scale language models.

연구 동기 및 목표

• 대규모 언어 모델에서 정보 품질 저하의 근본 원인을 규명하는 것.
• 훈련 데이터의 편향과 토큰화 과정이 LLM의 신뢰성에 어떻게 악영향을 미치는지 밝혀내는 것.
• LLM에서의 정보 품질을 정량화하기 위한 수학적 평가 프레임워크를 개발하는 것.
• 언어 모델의 신뢰성을 체계적으로 향상시키는 데 기여하는 척도 법칙을 제안하는 것.

제안 방법

• 저자들은 무결성, 정확성, 일관성에 중점을 두어 정보 품질을 정량화하는 공식적인 수학 모델을 도입한다.
• 통계적 및 언어학적 지표를 사용하여 사전 훈련 데이터의 품질과 토큰화가 모델 출력에 미치는 영향을 분석한다.
• 모델 크기, 데이터 품질, 출력 신뢰성 간의 관계를 설명하는 척도 법칙을 프레임워크에 통합한다.
• 다양한 데이터셋에서 통제된 벤치마킹을 통해 환각 비율과 위조된 내용을 평가한다.
• 정보 이론 원리를 적용하여 생성된 텍스트의 신호 대 잡음 비율을 측정한다.
• 이 방법을 통해 다양한 훈련 설정과 데이터 소스 간의 LLM을 체계적으로 비교할 수 있다.

실험 결과

연구 질문

• RQ1 사전 훈련 과정에서 대규모 언어 모델의 정보 품질 저하를 유도하는 주요 요인는 무엇인가?
• RQ2 데이터 편향과 토큰화 과정은 환각과 위조된 내용에 어떻게 기여하는가?
• RQ3 LLM이 생성한 정보의 무결성을 정량적으로 평가할 수 있는 수학적 프레임워크를 개발할 수 있는가?
• RQ4 척도 법칙이 정보 품질 향상과 환각 감소와 얼마나 관련이 있는가?
• RQ5 정보 품질 지표는 더 신뢰할 수 있는 언어 모델 설계를 어떻게 이끌 수 있는가?

주요 결과

• LLM의 정보 품질은 사전 훈련 데이터의 편향과 비효율적인 토큰화 전략으로 인해 크게 저하된다.
• 연구에서는 데이터 품질과 환각 비율 간에 강한 상관관계를 규명하였으며, 열악한 품질의 데이터는 테스트된 모델에서 위조 생성률을 최대 40%까지 증가시킨다.
• 제안된 수학적 프레임워크는 정보 무결성을 성공적으로 정량화하여, 다양한 LLM 아키텍처 간 객관적 비교를 가능하게 한다.
• 프레임워크에서 유도된 척도 법칙은 모델 크기와 훈련 데이터 품질이 증가할수록 정보 품질 성능이 예측 가능하게 향상됨을 보여준다.
• 평가 방법은 특히 사실성 및 사실에 가까운 진술에서 이전에 발견되지 않은 일관성 없는 점들을 탐지할 수 있었다.
• 결과적으로, 훈련 과정에서 품질 지표를 체계적으로 적용할 경우 통제된 환경에서 환각을 30% 이상 감소시킬 수 있음을 입증하였다.