[論文レビュー] The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation

Miles Brundage, Shahar Avin+24 more|arXiv (Cornell University)|Feb 20, 2018

Network Security and Intrusion Detection被引用数 489

ひとこと要約

この報告書は、AIの悪意ある利用による潜在的なセキュリティ脅威を調査し、予測、予防、緩和戦略、そして今後の研究領域を提案します。

ABSTRACT

This report surveys the landscape of potential security threats from malicious uses of AI, and proposes ways to better forecast, prevent, and mitigate these threats. After analyzing the ways in which AI may influence the threat landscape in the digital, physical, and political domains, we make four high-level recommendations for AI researchers and other stakeholders. We also suggest several promising areas for further research that could expand the portfolio of defenses, or make attacks less effective or harder to execute. Finally, we discuss, but do not conclusively resolve, the long-term equilibrium of attackers and defenders.

研究の動機と目的

• AIがデジタル、物理、政治の領域で脅威に与える影響を評価する。
• 悪意あるAIの能力と攻撃者モデルの予測を開発する。
• 研究者と利害関係者が害を防止・緩和するための実用的な推奨事項を提案する。
• 防御を広げ、攻撃を妨げるための有望な研究方向を特定する。

提案手法

• デジタル、物理、政治の領域にわたる既存および潜在的な脅威の景観を調査する。
• 脅威の軌跡と攻撃者-防御者のダイナミクスを予測する。
• 研究者と利害関係者がリスクを低減するための高レベルの行動を推奨する。
• 明確な結論には至らない長期的な攻撃者と防御者の均衡について論じる。

実験結果

リサーチクエスチョン

• RQ1 AIはデジタル、物理、政治の文脈でセキュリティ脅威にどのように影響し得るか？
• RQ2 予測ベースの予防措置と積極的な対策は、悪意あるAIの利用を防止・緩和するのにどのように役立つか？
• RQ3 防御を強化し、攻撃者の有効性を低下させるにはどんな推奨事項が考えられるか？
• RQ4 AI対応脅威に対する防御能力を拡張する研究アジェンダは何か？

主な発見

• 本論文は、複数の領域にわたる潜在的なAI活用脅威の景観を概説する。
• 悪意あるAIの利用に対処するための核心戦略として予測、予防、緩和を提案する。
• 研究者やその他の利害関係者に向けた高レベルの推奨事項を提供する。
• 防御を拡張したり攻撃の有効性を低下させるいくつかの将来の研究領域を示唆する。
• 長期的な攻撃者–防御者のダイナミクスについて論じられているが、決定的には解決されていない。