[논문 리뷰] Combatting deepfakes: Policies to address national security threats and rights violations

A Miotti, Akash R. Wasil|arXiv (Cornell University)|2024. 02. 14.

Internet Traffic Analysis and Secure E-voting인용 수 4

한 줄 요약

이 논문은 모델 개발자, 제공자, 컴퓨팅 플랫폼이 딥페이크 생성과 유포를 방지하는 데 책임을 지도록 하는 통합적이고 공급망 전반의 규제 프레임워크를 제안한다. 이는 부주의 기반의 책임을 주장하며, 비동의 성착란, 사기, 불법 콘텐츠에 대한 기술적 보호 조치를 요구한다. 핵심 결과는 딥페이크 생명주기 전 단계에서의 체계적 예방이다.

ABSTRACT

This paper provides policy recommendations to address threats from deepfakes. First, we provide background information about deepfakes and review the harms they pose. We describe how deepfakes are currently used to proliferate sexual abuse material, commit fraud, manipulate voter behavior, and pose threats to national security. Second, we review previous legislative proposals designed to address deepfakes. Third, we present a comprehensive policy proposal that focuses on addressing multiple parts of the deepfake supply chain. The deepfake supply chain begins with a small number of model developers, model providers, and compute providers, and it expands to include billions of potential deepfake creators. We describe this supply chain in greater detail and describe how entities at each step of the supply chain ought to take reasonable measures to prevent the creation and proliferation of deepfakes. Finally, we address potential counterpoints of our proposal. Overall, deepfakes will present increasingly severe threats to global security and individual liberties. To address these threats, we call on policymakers to enact legislation that addresses multiple parts of the deepfake supply chain.

연구 동기 및 목표

• 개인 권리, 국가 안보, 민주적 제도에 대한 딥페이크의 증가하는 위협을 다루기.
• 모델 개발자부터 최종 사용자에 이르기까지 딥페이크 공급망의 체계적 취약점을 규명하기.
• 최종 생성자 외에도 상游 제공자까지 책임을 확장하는 집행 가능한 입법 조치를 제안하기.
• 워터마킹과 같은 기술적 해결책의 한계를 극복하기 위해 규제 개입을 주장하기.
• 정부가 딥페이크 피해가 확산되기 전에 방지할 수 있는 실천 가능한 정책 블루프린트 제공하기.

제안 방법

• 딥페이크 생성을 방지하기 위한 기술적 제어를 구현하도록 요구하는, 부주의 기반의 책임 모델을 모델 개발자에게 도입하기.
• 모델 개발자가 훈련 데이터에 불법 콘텐츠(예: 아동 성착란 자료)가 포함되지 않도록 보장하도록 의무화하기.
• 모델 제공자 및 컴퓨팅 플랫폼이 사용자 행동을 모니터링하고 딥페이크 생성 시도를 탐지하도록 요구하기.
• 악성 사용자가 악의적인 콘텐츠를 생성하는 데 AI 도구를 악용할 수 없도록 액세스 제어를 구현하기.
• 기존 법적 체제(예: 영국의 온라인 안전법)와 통합하면서도 상游 책임 범위를 확장하기.
• 딥페이크 생성 및 유포를 형사화하는 입법을 주장하며, 피해자에게 구제 조치를 제공하기.

Figure 1: Representation of the deepfake supply chain. The supply chain begins narrow with a relatively small number of model developers, model providers, and compute providers. At the end of the supply chain, an extremely large number of users have the potential to create deepfakes.

실험 결과

연구 질문

• RQ1 어떻게 규제 프레임워크가 AI 공급망 전반에서 딥페이크 유포를 효과적으로 줄일 수 있는가?
• RQ2 딥페이크 비동의 성착란 포르노그래피 생성을 방지하기 위해 모델 개발자가 구현할 수 있는 기술적 및 법적 조치는 무엇인가?
• RQ3 왜 워터마킹은 딥페이크 피해에 대한 주된 해결책으로 부적절한가? 그 기술적 한계는 무엇인가?
• RQ4 컴퓨팅 제공자 및 모델 제공자와 같은 상游 당사자에게 책임을 어떻게 부여할 수 있는가?
• RQ5 어떤 정책 메커니즘이 AI 혁신과 개인 권리, 국가 안보 보호의 필요성 사이의 균형을 맞출 수 있는가?

주요 결과

• 2022년에서 2023년 사이에 딥페이크 성착란 콘텐츠가 400% 이상 증가했으며, 피해자의 99%가 여성이고, 아동 성착란 딥페이크의 99.6%가 여성 대상이었다.
• 동일 기간 동안 딥페이크 사기 사건이 3,000% 증가하여 금융 및 기업 보안에 대한 위협이 증가하고 있음을 시사한다.
• 워터마킹은 단독으로 가능한 해결책이 아니며, 연구 결과에 따르면 결심된 적대자가 워터마킹을 간단히 제거할 수 있음을 보여준다.
• 미국의 기존 법은 딥페이크를 전면적으로 대상으로 하는 연방 법률가 없으며, 현재 법은 비동의 딥페이크 성착란 콘텐츠에 대응하기에 종종 부적절하다.
• 국방부와 국토안보부는 모두 딥페이크를 국가 안보 및 사이버 인프라에 대한 주요 위협으로 규정했다.
• 개발자, 제공자, 플랫폼을 합리적 주의 기준에 따라 책임지게 하는 공급망 접근 방식은 오직 최종 사용자만을 대상으로 하는 것보다 더 효과적이고 집행 가능하다.