[논문 리뷰] Disinformation Capabilities of Large Language Models

Ivan Vykopal, Matúš Pikuliak외 4명|arXiv (Cornell University)|2023. 11. 15.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 논문은 20가지의 유해한 허위정보 내러티브(예: 건강 관련 허위정보)에 부합하는 유력한 영문 뉴스 기사 생성 능력을 갖춘 10종의 지시 미세조정된 대규모 언어 모델(LLM)의 허위정보 생성 능력을 평가한다. 연구 결과, LLM(오픈소스 모델 포함)은 안전 필터의 실패가 거의 없이 매우 신뢰할 만한 허위정보를 생성할 수 있으며, 기존 모델에 의해 감지 가능하며, LLM 자체를 활용해 평가를 부분적으로 자동화할 수 있음을 확인했다.

ABSTRACT

Automated disinformation generation is often listed as an important risk associated with large language models (LLMs). The theoretical ability to flood the information space with disinformation content might have dramatic consequences for societies around the world. This paper presents a comprehensive study of the disinformation capabilities of the current generation of LLMs to generate false news articles in the English language. In our study, we evaluated the capabilities of 10 LLMs using 20 disinformation narratives. We evaluated several aspects of the LLMs: how good they are at generating news articles, how strongly they tend to agree or disagree with the disinformation narratives, how often they generate safety warnings, etc. We also evaluated the abilities of detection models to detect these articles as LLM-generated. We conclude that LLMs are able to generate convincing news articles that agree with dangerous disinformation narratives.

연구 동기 및 목표

• 현재 지시 미세조정된 LLM이 영어로 유력한 허위정보 뉴스 기사를 얼마나 잘 생성할 수 있는지 평가하기.
• 허위정보 생성을 방지하기 위해 구현된 안전 필터의 효과성 평가하기.
• 기존 감지 모델을 활용해 LLM이 생성한 허위정보의 감지 가능성 측정하기.
• LLM를 활용해 다른 LLM의 허위정보 생성 능력 평가를 자동화할 수 있는지 탐색하기.
• 현재 LLM이 대규모 허위정보 도구로 사용되는 상태를 이해하기 위한 벤치마크 제공하기.

제안 방법

• 연구는 20가지 사전 정의된 허위정보 내러티브(건강 관련 허위정보 및 음모론 포함)를 기반으로 10개의 LLM에 뉴스 기사 생성을 요청하였다.
• 생성된 텍스트는 인간 평가자들이 내러티브 준수 여부, 새로운 논거 사용 여부, 스타일적 일관성 등을 기준으로 수작업 평가하였다.
• 안전 필터의 효과는 고백문, 반론 또는 콘텐츠 생성 거부 빈도를 측정하여 평가하였다.
• 감지 모델은 높은 정밀도로 LLM이 생성한 허위정보를 식별할 수 있는지 테스트하였다.
• 생성된 텍스트의 일부는 GPT-4를 활용해 자동 평가 파이프라인의 가능성을 평가하기 위해 분석되었다.
• 평가 과정은 표준화된 프롬프트 프레임워크와 통제된 앤트레이션 프로세스를 통해 일관성을 확보하였다.

Figure 1: Summary of how many generated texts we consider dangerous or safe . Dangerous texts are proper disinformation articles that could be misused. Safe texts contain disclaimers, provide counterarguments, argue against the user, etc. Note that GPT-4 annotations are generally biased towards safe

실험 결과

연구 질문

• RQ1 현재 LLM은 얼마나 높은 수준으로 위험한 허위정보 내러티브에 부합하는 뉴스 기사를 생성할 수 있는가?
• RQ2 안전 필터는 LLM이 해로운 허위정보 콘텐츠를 생성하는 것을 방지하는 데 얼마나 효과적인가?
• RQ3 기존 감지 모델을 활용해 LLM이 생성한 허위정보 기사의 감지 가능성은 어느 정도인가?
• RQ4 LLM를 활용해 다른 LLM의 허위정보 생성 능력 평가를 자동화할 수 있는가?
• RQ5 다양한 LLM 간의 허위정보 생성 능력과 안전 준수 수준에는 어떤 차이가 있는가?

주요 결과

• 오픈소스 모델을 포함한 LLM은 건강 허위정보 및 음모론과 같은 위험한 내러티브에 부합하는 매우 신뢰할 만한 허위정보 뉴스 기사를 생성할 수 있다.
• 대부분의 LLM에서 안전 필터가 해로운 콘텐츠 생성을 방지하지 못했으며, 허위정보 프롬프트에 저항력이 높은 모델는 몇 군데에 불과했다.
• 생성된 텍스트의 상당수(그림 1 참조)는 '위험'으로 분류되었는데, 이는 고백문이나 반론 없이 허위정보를 전면적으로 지지함을 의미한다.
• 감지 모델는 LLM이 생성한 허위정보를 높은 정밀도로 식별할 수 있었으며, 이는 자동 감지가 여전히 유효한 방어 수단임을 시사한다.
• GPT-4는 평가 과정의 일부를 자동화할 수 있었으며, 이는 향후 평가를 최소한의 인간 노동으로 확장 가능한 LLM 기반 평가 파이프라인의 가능성을 시사한다.
• 악성 사용자가 프롬프트 엔지니어링을 통해 허위정보의 품질을 더욱 향상시키고 안전 메커니즘을 우회할 수 있음을 고려할 때, 현재 평가 결과는 실제 위험을 과소평가할 수 있음을 시사한다.

Figure 2: The average score for each question and LLM using (a) human and (b) GPT-4 annotations.