[論文レビュー] GenAI Against Humanity: Nefarious Applications of Generative Artificial Intelligence and Large Language Models

Emilio Ferrara|arXiv (Cornell University)|Oct 1, 2023

Artificial Intelligence in Healthcare and Education被引用数 19

ひとこと要約

本論文は GenAI および LLM の悪用を調査し、有害性と意図の分類を提示し、概念実証の悪用シナリオを網羅し、緩和策と規制上の検討を提案する。

ABSTRACT

Generative Artificial Intelligence (GenAI) and Large Language Models (LLMs) are marvels of technology; celebrated for their prowess in natural language processing and multimodal content generation, they promise a transformative future. But as with all powerful tools, they come with their shadows. Picture living in a world where deepfakes are indistinguishable from reality, where synthetic identities orchestrate malicious campaigns, and where targeted misinformation or scams are crafted with unparalleled precision. Welcome to the darker side of GenAI applications. This article is not just a journey through the meanders of potential misuse of GenAI and LLMs, but also a call to recognize the urgency of the challenges ahead. As we navigate the seas of misinformation campaigns, malicious content generation, and the eerie creation of sophisticated malware, we'll uncover the societal implications that ripple through the GenAI revolution we are witnessing. From AI-powered botnets on social media platforms to the unnerving potential of AI to generate fabricated identities, or alibis made of synthetic realities, the stakes have never been higher. The lines between the virtual and the real worlds are blurring, and the consequences of potential GenAI's nefarious applications impact us all. This article serves both as a synthesis of rigorous research presented on the risks of GenAI and misuse of LLMs and as a thought-provoking vision of the different types of harmful GenAI applications we might encounter in the near future, and some ways we can prepare for them.

研究の動機と目的

• サイバーセキュリティ、倫理、社会構造に対する生成系AIおよび大規模言語モデルのリスクを動機づけ、文書化する。
• 害を悪意ある意図（欺瞞、宣伝、不正直さ）に対応づける分類法を提案する。
• 概念実証の悪用シナリオを調査し、政策と実務における現実の影響を論じる。
• 規制文脈（EUおよび中国）を強調し、緩和戦略と継続的なモニタリングの必要性を概説する。

提案手法

• 生成系AIおよび大規模言語モデルを定義し、その生成機構を説明する。
• 害（個人への害、財務/経済的被害、情報操作、社会的/インフラ被害）と意図（欺瞞、宣伝、不正直さ）を結ぶ3×4の有害性-意図分類を導入する。
• 分類を具体化するための概念実証シナリオ（表2–表3–表5）と悪用の例を提示する。
• 規制の状況と倫理的ガイダンスを論じ、緩和策とリスク対利益分析アプローチを提案する。

Figure 1. Charting the Landscape of Nefarious Applications of Generative Artificial Intelligence and Large Language Models

実験結果

リサーチクエスチョン

• RQ1 GenAIおよびLLMs の悪質な適用例は何が明らかであり、あるいはあり得るのか？
• RQ2 害と攻撃者の意図をどのように体系的に分類して悪用を予測できるか？
• RQ3 GenAIの悪用を示す具体的な概念実証シナリオは何か、それらの含意は何か？
• RQ4 GenAI の乱用に対処するために推奨される緩和、ガバナンス、規制アプローチは何か？

主な発見

• 有害性-意図分類（3×4のマトリクス）を導入し、害の種類と悪意ある意図を結びつける。
• 実在性、誤情報、欺瞞、宣伝にわたる概念実証の悪用シナリオを要約（表2–3–5）。
• AI生成の音声なりすまし、合成アイデンティティなど、実世界の例とリスクを記録し、それらの含意を論じる。
• EUおよび中国における規制の展望を論じ、継続的モニタリングと倫理的ガイドラインの必要性を強調する。
• 技術的および社会技術的緩和戦略の推奨と、リスクと利益の分析の重要性を提示する。

Figure 2. Mind Map of Abuse and Malicious Applications of GenAI and Large Language Models.