[论文解读] Combatting deepfakes: Policies to address national security threats and rights violations

A Miotti, Akash R. Wasil|arXiv (Cornell University)|Feb 14, 2024

Internet Traffic Analysis and Secure E-voting被引用 4

一句话总结

本文提出了一项全面的、覆盖整个供应链的监管框架，旨在通过让模型开发者、服务提供商和计算平台对防止深度伪造内容的创建与传播负责，来应对深度伪造问题。该框架主张基于过失责任的问责机制，要求实施技术防护措施以防范非自愿色情内容、欺诈行为及非法内容，并实现对深度伪造全生命周期的系统性预防。

ABSTRACT

This paper provides policy recommendations to address threats from deepfakes. First, we provide background information about deepfakes and review the harms they pose. We describe how deepfakes are currently used to proliferate sexual abuse material, commit fraud, manipulate voter behavior, and pose threats to national security. Second, we review previous legislative proposals designed to address deepfakes. Third, we present a comprehensive policy proposal that focuses on addressing multiple parts of the deepfake supply chain. The deepfake supply chain begins with a small number of model developers, model providers, and compute providers, and it expands to include billions of potential deepfake creators. We describe this supply chain in greater detail and describe how entities at each step of the supply chain ought to take reasonable measures to prevent the creation and proliferation of deepfakes. Finally, we address potential counterpoints of our proposal. Overall, deepfakes will present increasingly severe threats to global security and individual liberties. To address these threats, we call on policymakers to enact legislation that addresses multiple parts of the deepfake supply chain.

研究动机与目标

• 应对深度伪造对个人权利、国家安全及民主制度日益增长的威胁。
• 识别从模型开发者到最终用户整个深度伪造供应链中的系统性漏洞。
• 提出可执行的立法措施，将责任延伸至下游的上游服务提供方，而不仅限于最终内容创作者。
• 通过倡导监管干预，弥补如水印技术等技术解决方案的局限性。
• 为政府提供可操作的政策蓝图，以在深度伪造危害广泛传播前加以预防。

提出的方法

• 为模型开发者建立基于过失责任的问责机制，要求其实施技术控制措施以防止深度伪造内容的生成。
• 强制要求模型开发者确保训练数据中不包含非法内容，如儿童性虐待材料。
• 要求模型服务提供方和计算平台监控用户行为，检测试图生成深度伪造内容的企图。
• 实施访问控制机制，限制恶意用户利用AI工具制作有害内容。
• 将所提议的框架与现有法律制度（如英国《在线安全法》）相结合，同时将责任范围向上游延伸。
• 倡导立法将深度伪造的制作与传播行为定为犯罪，并为受害者提供救济途径。

Figure 1: Representation of the deepfake supply chain. The supply chain begins narrow with a relatively small number of model developers, model providers, and compute providers. At the end of the supply chain, an extremely large number of users have the potential to create deepfakes.

实验结果

研究问题

• RQ1 如何通过监管框架有效减少整个AI供应链中的深度伪造传播？
• RQ2 模型开发者可采取哪些技术和法律措施，以防止其模型被用于生成非自愿的深度伪造色情内容？
• RQ3 为何水印技术不足以作为应对深度伪造危害的主要解决方案？其技术局限性是什么？
• RQ4 如何对上游实体（如计算服务提供商和模型服务提供方）进行责任认定，以预防深度伪造的生成？
• RQ5 哪些政策机制可在促进人工智能创新与保护个人权利及国家安全之间实现平衡？

主要发现

• 2022年至2023年间，深度伪造色情内容数量增长超过400%，其中99%的受害者为女性，99.6%的儿童性虐待类深度伪造内容涉及女性。
• 同期，深度伪造欺诈事件数量激增3,000%，凸显对金融与企业安全构成日益严重的威胁。
• 水印技术并非可行的独立解决方案，研究显示，有决心的攻击者可轻易移除水印。
• 美国现行法律缺乏专门针对深度伪造的联邦立法，且现有法律往往不足以应对非自愿的深度伪造色情内容问题。
• 美国国防部与国土安全部均已将深度伪造列为对国家安全与网络基础设施的重大威胁。
• 采用供应链治理模式——要求开发者、服务提供方与平台遵循合理谨慎标准——相比仅针对最终用户，能提供更有效且可执行的应对路径。