[논문 리뷰] Evaluating the Factual Consistency of Large Language Models Through News Summarization

Derek Tam, Anisha Mascarenhas외 4명|arXiv (Cornell University)|2022. 11. 15.

Topic Modeling인용 수 16

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 사실 일관성 수준을 평가하기 위해 FIB(Factual Inconsistency Benchmark)라는 새로운 평가 프레임워크를 소개한다. 이 프레임워크는 사실 일관성이 있는 요약문보다 일관성이 없는 요약문을 더 높은 점수로 평가하는지 여부를 평가함으로써 LLM의 사실 일관성 수준을 측정한다. XSum 및 CNN/DM에서 인간이 검증한 요약문을 바탕으로, 23개의 LLM(1B–176B 파라미터)을 평가한 결과, 대부분의 모델이 사실 일관성이 있는 요약문을 선호하지만, 원본 텍스트에서 그대로 복사된 사실 일관성이 없는 요약문을 더 선호하는 경우가 많다는 점을 발견하여, LLM의 사실성에 대한 심각한 실패 모드가 드러났다.

ABSTRACT

While large language models (LLMs) have proven to be effective on a large variety of tasks, they are also known to hallucinate information. To measure whether an LLM prefers factually consistent continuations of its input, we propose a new benchmark called FIB(Factual Inconsistency Benchmark) that focuses on the task of summarization. Specifically, our benchmark involves comparing the scores an LLM assigns to a factually consistent versus a factually inconsistent summary for an input news article. For factually consistent summaries, we use human-written reference summaries that we manually verify as factually consistent. To generate summaries that are factually inconsistent, we generate summaries from a suite of summarization models that we have manually annotated as factually inconsistent. A model's factual consistency is then measured according to its accuracy, i.e.\ the proportion of documents where it assigns a higher score to the factually consistent summary. To validate the usefulness of FIB, we evaluate 23 large language models ranging from 1B to 176B parameters from six different model families including BLOOM and OPT. We find that existing LLMs generally assign a higher score to factually consistent summaries than to factually inconsistent summaries. However, if the factually inconsistent summaries occur verbatim in the document, then LLMs assign a higher score to these factually inconsistent summaries than factually consistent summaries. We validate design choices in our benchmark including the scoring method and source of distractor summaries. Our code and benchmark data can be found at https://github.com/r-three/fib.

연구 동기 및 목표

• 대규모 언어 모델(LLM)이 텍스트 생성 과정에서 발생하는 괴상한 사실 창출 문제를 해결하기 위해.
• 특히 요약 작업에서 사실 일관성 수준을 측정할 수 있는 신뢰할 수 있는 벤치마크를 개발하기 위해.
• 다양한 모델 크기와 아키텍처를 고려하여, LLM이 사실 일관성이 있는 요약문과 일관성이 없는 요약문을 어떻게 구분하는지 평가하기 위해.
• 모델 규모, 점수 산정 방법, 또는 일관성이 없는 요약문의 출처가 사실 일관성 탐지 능력에 영향을 미치는지 조사하기 위해.

제안 방법

• XSum 및 CNN/DM 데이터셋에서 유래한 3,500개 이상의 수동으로 검증된 요약문 쌍(사실 일관성이 있는 것과 없는 것)을 사용하는 FIB를 제안한다.
• 사람이 작성한 기준 요약문을 사실 정확성이 검증된 사실 일관성 기준으로 사용한다.
• 22개의 사전 훈련된 요약 모델을 통해 사실 일관성이 없는 요약문을 생성한 후, 수동으로 일관성이 없다고 표시한다.
• LLM이 사실 일관성이 있는 요약문보다 일관성이 없는 요약문에 더 높은 점수를 매기는지 평가함으로써 사실 일관성 수준을 측정한다. 점수 산정 방법으로는 로그우도 또는 PMI를 사용한다.
• 6개의 모델 패밀리(BLOOM, OPT, GPT, T0 등)에서 온 23개의 LLM을 다양한 점수 산정 함수(조건부 로그우도(LL), 길이 보정된 로그우도, PMI, 길이 보정된 PMI)를 통해 테스트한다.
• 불일치 요약문의 출처(수정되지 않은 참조, FactCC 편집된 것, MFMA 생성된 것)와 점수 산정 함수에 대한 분석 실험을 수행하여 벤치마크 설계의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 뉴스 요약 과정에서 사실 일관성이 있는 요약문을 사실 일관성이 없는 요약문보다 선호하는가?
• RQ2 모델 규모(1B에서 176B 파라미터)가 사실 일관성 탐지 능력에 영향을 미치는가?
• RQ3 불일치 요약문의 출처(예: 모델 생성, FactCC 편집, 문서에서 그대로 복사)가 LLM의 불일치 탐지 능력에 영향을 미치는가?
• RQ4 다양한 점수 산정 함수(LL, PMI 등)가 사실 일관성 탐지 정확도에 영향을 미치는가?
• RQ5 원본 문서에 그대로 존재하는 사실 불일치 요약문이 LLM이 정확한 요약문보다 이를 선호하도록 속일 수 있는가?

주요 결과

• BLOOM(176B)는 사실 일관성이 있는 요약문에 더 높은 점수를 매기는 경우를 72.4%의 비율로 보이며, 이는 정확성에 대한 일반적인 선호를 시사한다.
• 불일치 요약문이 원본 문서에서 그대로 복사된 경우, BLOOM는 9.6%의 비율로 이를 선호한다—이는 심각한 실패 모드를 시사한다.
• 더 큰 모델(예: OPT-175B)은 사실 일관성 수준이 향상되어, 일관성이 있는 요약문과 없는 요약문을 선택할 때 50.0%의 정확도를 기록한다.
• FactCC로 편집된 불일치 요약문은 일부 LLM을 오도하는 데 모델 생성된 불일치 요약문과 유사한 비율로 영향을 미치며, 이는 강건성 문제를 시사한다.
• 길이 보정된 PMI 점수 산정 함수는 여러 모델에서 사실 불일치 탐지 능력에서 다른 함수보다 뛰어나다.
• GPT-Neo-2.7B와 GPTJ-6B는 그대로 복사된 불일치 요약문에 대해 각각 7.7%의 정확도를 보이며, 이는 복사-붙여넣기 아티팩트에 취약함을 시사한다.