[論文レビュー] Generative AI Misuse: A Taxonomy of Tactics and Insights from Real-World Data

Nahema Marchal, Rachel Xu+4 more|arXiv (Cornell University)|Jun 19, 2024

Ethics and Social Impacts of AI被引用数 13

ひとこと要約

本論文は、約200件の実世界の事例（Jan 2023–Mar 2024）の定性的分析に基づくGenAI misuse tacticsの分類学を構築し、モダリティ全体における能力の悪用とシステムの妥協に焦点を当てている。

ABSTRACT

Generative, multimodal artificial intelligence (GenAI) offers transformative potential across industries, but its misuse poses significant risks. Prior research has shed light on the potential of advanced AI systems to be exploited for malicious purposes. However, we still lack a concrete understanding of how GenAI models are specifically exploited or abused in practice, including the tactics employed to inflict harm. In this paper, we present a taxonomy of GenAI misuse tactics, informed by existing academic literature and a qualitative analysis of approximately 200 observed incidents of misuse reported between January 2023 and March 2024. Through this analysis, we illuminate key and novel patterns in misuse during this time period, including potential motivations, strategies, and how attackers leverage and abuse system capabilities across modalities (e.g. image, text, audio, video) in the wild.

研究の動機と目的

• 学術文献と実世界の観察に基づくGenAI misuse tacticsの分類学を開発する。
• 悪用戦術を、GenAIの能力の悪用とGenAIシステムの妥協の差異として区別する。
• 安全性とガバナンスを情報提供するために、頻度、動機、およびマルチモーダルなパターンを特徴づける。
• 操作、詐欺、嫌がらせなどの目標を達成するために、攻撃者がモダリティを横断して出力を活用する方法を特定する。

提案手法

• 悪質なGenAI使用とグレーリテラチャーの文献調査。
• 2023年1月から2024年3月までに公開されたGenAI悪用に関する約200件のメディア報道の定性的分析。
• 報告書の二重独立コーディングを実施し、関連する悪用戦術を特定し、相違点については合意を得る。
• ケースを行為者の目標、戦術、ツール、ターゲットにマッピングし、Appendix A/Bデータで充実させる。
• 二つのデータ収集ストリーム：独自のソーシャルリスニングツールと手動検索；重複排除で191件へ。

実験結果

リサーチクエスチョン

• RQ1 行為者はGenAIツールを用いてどのような悪用戦術を用い、それらはどのように分類されるのか？
• RQ2 悪用戦術はモダリティ（テキスト、画像、音声、映像）と行為者の目標にどのように分布しているか？
• RQ3 操作や収益化などの目標を達成するために、戦術を組み合わせる共通の戦略は何か？
• RQ4 実世界の事例がGenAIシステムへの攻撃なのか、それとも能力の悪用なのかはどの程度の割合か？
• RQ5 これらのパターンがガバナンス、安全性評価、緩和策に与える影響は何か？

主な発見

• 文書化された事例の約9割は、モデルを直接攻撃するよりもGenAIの能力を悪用することに関与している。
• なりすまし関連の戦術（Impersonation, Sockpuppeting, Appropriated Likeness, NCII）と偽造が支配的で、しばしば政治的または金銭的動機を伴う。
• ほとんどの悪用は、最小限の技術的専門知識で利用可能なGenAI機能に依存しており、洗練されたシステム標的攻撃というよりも手頃。
• 出現しつつある低レベルの悪用には、真偽性と開示の規篇に挑む政治的アプローチやアドボカシーが含まれる。
• 実際のシステム妥協の文書化された事例は数少なく（2件の実世界の事例）、研究デモンストレーションに結びつくことが多いが、展開された攻撃ではない。
• マネタイズと詐欺（コンテンツファーム、なりすましベースの詐欺）および嫌がらせ（NCII）が主要な悪用カテゴリを構成し、リーチと“digital resurrections”が新たなパターンとして出現している。