[논문 리뷰] The Deepfake Detection Dilemma: A Multistakeholder Exploration of Adversarial Dynamics in Synthetic Media

Claire Leibowicz, Sean McGregor외 1명|arXiv (Cornell University)|2021. 02. 11.

Digital Media Forensic Detection참고 문헌 9인용 수 8

한 줄 요약

이 논문은 가짜 미디어 탐지의 적대적 역학을 다중 이해관계자 관점에서 분석하여, 탐지 도구가 점점 더 접근 가능해짐에 따라 악성 행위자들이 이를 회피하기 위해 적응함으로써 지속적인 '탐지 딜레마'가 발생하고 있음을 밝혀냈다. 연구는 단일 탐지 접근 방식이 보편적으로 효과적이지 않으며, 학계, 기술 플랫폼, 시민사회, 미디어 등 다양한 이해관계자 간의 공정하고 협력적인 탐지 도구 거버넌스를 통해 변화하는 가짜 미디어 위협에 대비해 접근성, 보안성, 신뢰성을 균형 있게 유지해야 한다고 주장한다.

ABSTRACT

Synthetic media detection technologies label media as either synthetic or non-synthetic and are increasingly used by journalists, web platforms, and the general public to identify misinformation and other forms of problematic content. As both well-resourced organizations and the non-technical general public generate more sophisticated synthetic media, the capacity for purveyors of problematic content to adapt induces a ewterm{detection dilemma}: as detection practices become more accessible, they become more easily circumvented. This paper describes how a multistakeholder cohort from academia, technology platforms, media entities, and civil society organizations active in synthetic media detection and its socio-technical implications evaluates the detection dilemma. Specifically, we offer an assessment of detection contexts and adversary capacities sourced from the broader, global AI and media integrity community concerned with mitigating the spread of harmful synthetic media. A collection of personas illustrates the intersection between unsophisticated and highly-resourced sponsors of misinformation in the context of their technical capacities. This work concludes that there is no "best" approach to navigating the detector dilemma, but derives a set of implications from multistakeholder input to better inform detection process decisions and policies, in practice.

연구 동기 및 목표

• 가짜 미디어 제작자와 탐지 기술 간의 적대적 역학을 오락성 퍼진 정보의 맥락에서 분석하기.
• 가짜 미디어 생성 기술의 정교함과 접근 가능성 증가로 인해 탐지 도구가 어떻게 제약을 받는지 이해하기.
• 기자, 사실 확인 전문가, 시민사회, 기술 플랫폼 등 다양한 이해관계자의 역할과 기술 능력을 분석하여 가짜 미디어 탐지에 기여하는 바를 평가하기.
• 다양한 이해관계자, 특히 자원이 부족한 환경에서의 탐지 도구에 대한 공정한 접근의 시스템적 과제와 탐지 도구가 널리 보급되면서 발생하는 도구 회피 위험을 규명하기.
• 효과성, 접근성, 신뢰성을 균형 있게 유지하는 다중 이해관계자 기반의 탐지 정책 및 협력 프레임워크를 제안하기.

제안 방법

• 학계, 기술 플랫폼, 미디어 기관, 시민사회 소속의 이해관계자들을 포함한 다중 이해관계자 분석을 수행하여 탐지 환경과 적대자 능력을 평가한다.
• 저자원 및 고자원 가짜 미디어 제작자(예: '폭력적 버브', '선전가 폴', '국가주도 네시')의 기술적 및 전략적 프로필을 모델링하기 위해 인물 프로필(Persona)을 활용한다.
• 현장에서의 탐지 한계를 분석하기 위해 가짜 미디어 분석 사례 연구(예: 국가적 파장을 일으키는 사건, 의심스러운 미디어 조사)를 수행한다.
• 워터마킹, 서명 기반 탐지, 아티팩트 기반 분석과 같은 기술적 접근 방법을 평가하여 그 강건성과 확장성을 분석한다.
• 가짜 미디어 탐지에 대해 적대적 게임 이론 프레임워크를 적용하여 탐지기와 생성기 간의 지속적인 기술 경쟁을 모델링한다.
• 투명성, 접근성 평등성, 제도적 합법성을 강조하는 탐지기 공유 거버넌스 모델을 제안하여 탐지 딜레마를 완화한다.

실험 결과

연구 질문

• RQ1 가짜 미디어가 점점 더 정교해지고 적대적으로 표적이 되는 현실 세계 맥락에서 탐지 도구는 어떻게 기능하는가?
• RQ2 비전문가에서부터 국가수준의 행위자에 이르기까지 다양한 가짜 미디어 제작자의 기술적 및 전략적 능력은 어떠한가?
• RQ3 탐지 도구의 접근성이 증가함에 따라 도구가 어떻게 회피당하게 되는가? 이는 탐지 시스템의 신뢰성과 공정성에 어떤 영향을 미치는가?
• RQ4 다양한 이해관계자, 특히 자원이 부족한 환경에서의 탐지 도구에 대한 공정한 접근을 보장할 수 있는 제도적 및 거버넌스 모델은 무엇인가?
• RQ5 탐지 도구가 효과성을 유지하면서도 적대적 악용 위험을 최소화할 수 있도록 설계하고 공유하는 방법은 무엇인가?

주요 결과

• 가짜 미디어 생성 기술이 점점 더 접근 가능하고 적응 가능해지면서 탐지 도구는 점점 더 회피의 위험에 노출되어 있으며, 이는 지속적인 탐지 딜레마를 야기한다.
• 워터마킹과 서명 기반 탐지는 저·중수준의 가짜 미디어 제작자(예: '폭력적 버브', '선전가 폴')에는 효과적이지만, '국가주도 네시'와 같은 고자원 적대자에게는 부족하다.
• 어느 한 탐지 방법도 보편적으로 강건하지 않으며, 가장 효과적인 전략은 기술적, 제도적, 협력적 접근의 조합이 필요하다.
• 탐지 도구에 대한 공정한 접근은 여전히 주요 과제이며, 기자나 시민사회 조직과 같은 자원이 부족한 이해관계자들이 종종 핵심 탐지 능력에서 배제된다.
• 탐지 도구의 정당성과 신뢰성은 기술적 정확성 외에도 투명한 거버넌스와 명확한 접근 프로토콜에 달려 있다.
• 미래의 탐지 성공은 어떤 한 기술적 해결책에 의존하는 것이 아니라, 다중 이해관계자 협력, 제도적 프레임워크, 지속적인 적응에 달려 있다.