[논문 리뷰] Technology-Enabled Disinformation: Summary, Lessons, and Recommendations

John Garland Akers, Gagan Bansal외 13명|arXiv (Cornell University)|2018. 12. 21.

Misinformation and Its Impacts참고 문헌 59인용 수 16

한 줄 요약

이 논문은 딥페이크, 타겟 광고, 봇 네트워크를 중심으로 현대 기술이 위상 정보 및 오락성 정보의 대규모 생성과 유포를 가능하게 하는 방식을 조사한다. 기술적·정책적 접근을 융합한 해결책을 제안하며, 기계 학습에만 의존하지 않고 책임감 있는 설계, 사용자 인식 향상, 다양한 분야 간 협업을 통해 해를 최소화하고자 한다.

ABSTRACT

Technology is increasingly used -- unintentionally (misinformation) or intentionally (disinformation) -- to spread false information at scale, with potentially broad-reaching societal effects. For example, technology enables increasingly realistic false images and videos, and hyper-personal targeting means different people may see different versions of reality. This report is the culmination of a PhD-level special topics course (https://courses.cs.washington.edu/courses/cse599b/18au/) in Computer Science & Engineering at the University of Washington's Paul G. Allen School in the fall of 2018. The goals of this course were to study (1) how technologies and today's technical platforms enable and support the creation and spread of such mis- and disinformation, as well as (2) how technical approaches could be used to mitigate these issues. In this report, we summarize the space of technology-enabled mis- and disinformation based on our investigations, and then surface our lessons and recommendations for technologists, researchers, platform designers, policymakers, and users.

연구 동기 및 목표

• 현재 기술, 특히 인공지능, 소셜 미디어, 데이터 추적 기술이 위상 정보 및 오락성 정보의 확산을 어떻게 증폭시키는지 분석하기.
• 위상 정보를 가능하게 하는 기술적 요인을 특정화하기, 예를 들어 합성 미디어, 행동 타겟팅, 자동화된 봇.
• 기존 기술적 방어 조치의 효과성과 그 한계를 평가하여 대규모 위상 정보 확산을 억제하는 데에 있어 그 한계를 분석하기.
• 기술자, 연구자, 플랫폼 설계자, 정책 입안자, 사용자들이 위상 정보의 사회적 영향을 줄이기 위해 실천 가능한 권고 사항을 제공하기.
• 기술적 해결책만으로는 부족하며, 정보 오염의 근본 원인을 다루기 위해 인지 과학, 사회학, 정책 분야의 통찰을 통합해야 한다는 점을 강조하기.

제안 방법

• 워싱턴 대학교 앨런 스쿨에서 박사 과정 수준의 특화 과목을 운영하여 위상 정보의 기술적 측면을 조사하였다.
• 국민 투표, 건강 오락성 정보, 사회적 불안정 사례를 포함한 사례 연구를 포함한 위상 정보 생태계에 관한 기존 연구를 조사하였다.
• 핵심 기반 기술 분석: 딥페이크 생성(예: GANs), 초개인화된 콘텐츠 타겟팅, 확산을 위한 봇 네트워크.
• 감지 모델, 워터마킹, 플랫폼 수준의 간섭 조치와 같은 기존 기술적 완화 전략을 평가하였다.
• 인지 편향, 미디어 리터러시, 플랫폼 경제학의 통찰을 통합한 다학제적 분석을 수행하였다.
• 기술적 실현 가능성과 실제 제약 조건을 바탕으로 한 권고 사항을 개발하였으며, 검증되지 않은 인공지능 솔루션에 과도하게 의존하지 않았다.

실험 결과

연구 질문

• RQ1 딥페이크 생성 미디어, 타겟 광고, 자동화된 봇과 같은 현대 기술이 위상 정보의 대규모 생성과 유포를 어떻게 가능하게 하는가?
• RQ2 현재의 위상 정보 캠페인과 이전의 선전과를 비교할 때, 핵심적인 기술적 및 제도적 요인은 무엇인가?
• RQ3 감지 알고리즘, 콘텐츠 기원 추적, 봇 식별과 같은 기술적 해결책이 거짓 정보의 확산을 어느 정도 줄일 수 있는가?
• RQ4 기존 기술적 방어 조치가 왜 실질적인 영향을 미치지 못하고 스케일링에 실패하는가?
• RQ5 기술자, 연구자, 정책 입안자가 인간의 인지 기제, 플랫폼 경제학, 사회적 신뢰를 고려하여 공동으로 개입 조치를 설계할 수 있는 방법은 무엇인가?

주요 결과

• 콘텐츠 제작의 민주화와 딥페이크와 같은 접근 가능한 도구 덕분에, 매우 현실적인 가짜 콘텐츠를 제작하는 데에 필요한 기술적·재정적 장벽이 크게 낮아졌다.
• 참여도와 광고 수익과 연계된 경제적 인센티브가 감정적으로 강한 오락성 콘텐츠의 생성과 확산을 이끌며, 의도하지 않더라도 이를 유도한다.
• 초개인화된 타겟팅과 실시간 피드백 루프 덕분에 오락성 정보는 개인 사용자에게 맞춤형으로 조정되며, 복구하기 어려운 분열된 현실을 만들어낸다.
• 기존 기술적 방어 조치—특히 기계 학습 기반 감지—는 적대적 강건성, 일반화 부족, 합성 콘텐츠의 급격한 진화로 인해 자주 실패한다.
• 감지 및 방지 조치는 순수 기술 문제만은 아니다. 인지 편향, 사회적 상호작용, 플랫폼의 인centive가 오락성 정보의 확산과 인식 방식에 큰 영향을 미친다.
• 효과적인 완화는 다학제적 협업이 필요하다. 기술적 해결책은 정책 개혁, 미디어 리터러시, 윤리적 설계 원칙과 함께 제공되어야 지속 가능하고 효과적으로 작동할 수 있다.