[论文解读] Business (mis)Use Cases of Generative AI

Stephanie Houde, Vera Liao+6 more|arXiv (Cornell University)|Mar 2, 2020

Ethics and Social Impacts of AI参考文献 46被引用 25

一句话总结

本文通过与人工智能工程师共创设计虚构情境，探讨生成式人工智能在商业领域中的高影响力滥用案例，揭示了在文本、音频和视频生成方面可能发生的严重威胁，例如合成身份欺诈和深度伪造操纵，同时识别出结合技术、监管和教育的预防策略。

ABSTRACT

Generative AI is a class of machine learning technology that learns to generate new data from training data. While deep fakes and media-and art-related generative AI breakthroughs have recently caught people's attention and imagination, the overall area is in its infancy for business use. Further, little is known about generative AI's potential for malicious misuse at large scale. Using co-creation design fictions with AI engineers, we explore the plausibility and severity of business misuse cases.

研究动机与目标

• 从‘恶意行为者’的视角，调查生成式人工智能在商业领域中可能发生的严重滥用案例。
• 理解人工智能专家对合成内容威胁在现实商业情境中的可信度、严重性及潜在缓解措施的看法。
• 探讨生成式人工智能在金融、媒体和身份验证等领域的规模化滥用可能性。
• 识别结合技术、监管和公众意识的可操作预防策略。
• 通过整合专家见解以应对未来人工智能风险与伦理设计，为以人为本的数据科学做出贡献。

提出的方法

• 采用设计虚构——即关于有害人工智能应用的虚构叙事——作为与专家人工智能软件工程师协作的探针。
• 呈现三个半页长的设计虚构情景，分别涉及文本、音频和视频生成，用于共创练习。
• 通过引导式讨论，评估情景的可信度、严重性及潜在升级风险。
• 收集参与者对滥用可能更严重或更轻微的原因，以及可能有效的预防措施的反馈。
• 分析参与者反应，识别风险感知以及技术、监管和教育层面应对措施的模式。
• 采用参与式、诠释性方法，生成超越研究者假设的见解，基于专家经验建立。

实验结果

研究问题

• RQ1 在文本、音频和视频领域，生成式人工智能在商业中可能发生的可信且严重的滥用案例有哪些？
• RQ2 人工智能专家如何看待在真实商业情境中合成内容威胁的可信度和严重性？
• RQ3 哪些因素可能使生成式人工智能的滥用更加严重？哪些机制可能缓解这些风险？
• RQ4 技术、监管和教育的哪些组合可有效预防生成式人工智能的大规模滥用？
• RQ5 尽管存在潜在危害，生成式人工智能如何被重新用于有益应用？

主要发现

• 参与者识别出高严重性的滥用案例，包括合成身份欺诈和虚假医疗记录，可能导致保险拒赔或财务损失。
• 与环境音频伪造相比，逼真人类语音的合成被认为更具危险性，因其可能用于社会工程和身份冒充。
• 多个来源的连贯伪造可能使证据验证复杂化，并削弱对数字内容的信任。
• 存在一种‘技术军备竞赛’的感知，即生成式人工智能与检测技术之间的对抗，但人们普遍乐观认为，检测器的丰富训练数据将随时间推移提升检测能力。
• 参与者建议，数据可追溯性、内容水印和立法是防止规模化滥用的关键措施。
• 也提出了有益的应用，例如为情感支持生成老年人肖像，以及提升沟通障碍人群的语音可及性。