[논문 리뷰] The Verification Crisis: Expert Perceptions of GenAI Disinformation and the Case for Reproducible Provenance

Alexander Loth, Martín Munizaga Kappes외 1명|arXiv (Cornell University)|2026. 02. 02.

Scientific Computing and Data Management인용 수 0

한 줄 요약

Wave 1 연구에서 AI, 정책, 허위정보 분야의 21명의 전문가를 대상으로 다중양식 GenAI 허위정보가 현재 존재하는 위협이며 점차 확대되고 있음을 발견했으며, 텍스트는 체계적 인식론적 위험을 제기하고 딥페이크 비디오가 즉각적인 충격을 촉발합니다; 전문가들은 순수한 기술적 탐지보다 재현 가능한 출처 확인과 인프라를 옹호합니다.

ABSTRACT

The growth of Generative Artificial Intelligence (GenAI) has shifted disinformation production from manual fabrication to automated, large-scale manipulation. This article presents findings from the first wave of a longitudinal expert perception survey (N=21) involving AI researchers, policymakers, and disinformation specialists. It examines the perceived severity of multimodal threats -- text, image, audio, and video -- and evaluates current mitigation strategies. Results indicate that while deepfake video presents immediate "shock" value, large-scale text generation poses a systemic risk of "epistemic fragmentation" and "synthetic consensus," particularly in the political domain. The survey reveals skepticism about technical detection tools, with experts favoring provenance standards and regulatory frameworks despite implementation barriers. GenAI disinformation research requires reproducible methods. The current challenge is measurement: without standardized benchmarks and reproducibility checklists, tracking or countering synthetic media remains difficult. We propose treating information integrity as an infrastructure with rigor in data provenance and methodological reproducibility.

연구 동기 및 목표

• 텍스트, 이미지, 오디오, 비디오 양상을 가로질러 GenAI 허위정보의 인지된 심각성을 평가한다.
• 현재 완화 전략과 그 효과를 평가한다.
• 정보 정합성에 대한 재현 가능한 출처 확인 및 인프라적 접근 방식을 옹호한다.
• 체크리스트, 방법 허브, 지식 그래프를 결합한 실용적 프레임워크를 제안하여 재현 가능한 연구를 진전시킨다.
• 진실 검증 인프라를 향한 3막 서사와 실행 가능한 경로를 제시한다.

제안 방법

• AI 연구, 정책, 허위정보 분야의 21명의 전문가를 모집하기 위한 목적적 스노우볼 샘플링.
• 위협 심각도와 완화 효능을 측정하는 두 가지 잠재구조 설문을 리커트 척도(1–7)로 측정.
• 합성 합의(Synthetic Consensus)와 블랙박스 실패와 같은 주제를 식별하기 위한 반성적 주제 분석을 통한 질적 분석.
• 중심 경향성과 합의를 식별하기 위한 정량적 기술통계; 질적 데이터는 귀납적으로 코딩하고 정량적 결과와 삼각분석한다.
• R2CASS에 맞춘 재현성 진술: 데이터, 설문 도구, 분석 코드는 Momeni 등 체크리스트와 함께 GESIS Methods Hub를 통해 공유될 예정이다.

실험 결과

연구 질문

• RQ1 텍스트, 이미지, 오디오, 비디오 양상을 가로질러 GenAI 허위정보에 대한 인식된 위협 수준은 어느 정도인가?
• RQ2 전문가들이 어떤 완화 전략을 가장 효과적이거나 가장 비효과적이라고 보며, 그 이유는 무엇인가?
• RQ3 재현 가능한 출처 프레임워크가 검증 위기를 탐지만으로보다 더 효과적으로 해결할 수 있는가?
• RQ4 지식 그래프 및 Methods Hub와 같은 인프라가 허위정보 연구의 재현성을 어떻게 높일 수 있는가?
• RQ5 탐지에서 출처 중심 방어로 전환하기 위해 필요한 구조적 변화는 무엇인가?

주요 결과

• 텍스트 기반 GenAI 콘텐츠는 합성 합의와 인식론적 분열의 잠재력이 높은 체계적 위협으로 인지된다.
• 딥페이크 비디오는 충격 가치를 크게 보이나 장기적 위협으로는 텍스트보다 더 반박 가능하다고 간주된다.
• 기술적 탐지 도구는 블랙박스 한계와 적대적 진화로 인해 장기적으로 가장 비효율적인 해결책으로 간주된다.
• 전문가들은 구현 장애에도 불구하고 출처 표준 및 규제 프레임워크를 선호한다.
• 재현 가능한 인프라(체크리스트, 방법 허브, 지식 그래프)는 대규모 허위정보 대응에 필수적이라고 제안된다.