[論文レビュー] Security and Privacy for Artificial Intelligence: Opportunities and Challenges

Ayodeji Oseni, Nour Moustafa+4 more|arXiv (Cornell University)|Feb 9, 2021

Adversarial Robustness in Machine Learning被引用数 44

ひとこと要約

この論文は敵対的AI脅威、攻撃、防御を調査し、AIシステムのセキュリティとプライバシーリスクを分析・緩和する包括的なフレームワークを提案する。強化学習と連合学習を含む。

ABSTRACT

The increased adoption of Artificial Intelligence (AI) presents an opportunity to solve many socio-economic and environmental challenges; however, this cannot happen without securing AI-enabled technologies. In recent years, most AI models are vulnerable to advanced and sophisticated hacking techniques. This challenge has motivated concerted research efforts into adversarial AI, with the aim of developing robust machine and deep learning models that are resilient to different types of adversarial scenarios. In this paper, we present a holistic cyber security review that demonstrates adversarial attacks against AI applications, including aspects such as adversarial knowledge and capabilities, as well as existing methods for generating adversarial examples and existing cyber defence models. We explain mathematical AI models, especially new variants of reinforcement and federated learning, to demonstrate how attack vectors would exploit vulnerabilities of AI models. We also propose a systematic framework for demonstrating attack techniques against AI applications and reviewed several cyber defences that would protect AI applications against those attacks. We also highlight the importance of understanding the adversarial goals and their capabilities, especially the recent attacks against industry applications, to develop adaptive defences that assess to secure AI applications. Finally, we describe the main challenges and future research directions in the domain of security and privacy of AI technologies.

研究の動機と目的

• 2018年から2020年にかけて、AIシステムに対するセキュリティとプライバシーの脅威に関する既存文献を特定し、総合・統合する。
• 深層学習や連合学習を含む機械学習タスクのカテゴリーの概観と、それらのセキュリティへの影響を提供する。
• AIアプリケーションに対する高度な攻撃手法を例示する敵対的攻撃フレームワークを導入する。
• 敵対的攻撃からAIモデルを保護する防御フレームワークを提示する。
• AIのセキュリティとプライバシーにおける課題を強調し、今後の研究方向性を概説する。

提案手法

• AIのセキュリティ/プライバシーに関する最近の調査・レビューの系統的レビューを行い、限界とギャップを特定する。
• 機械学習タスク（監督あり、無監督、半監督、強化学習）の分類と、深層学習と連合学習の議論。
• AIモデルへの攻撃を定量的に分析するための包括的な敵対的攻撃フレームワークの開発（図2）。
• トレーニング段階とテスト段階の攻撃調査の収集と分析（表2と表3）を通じて、攻撃の種類、目的、知識仮定をマッピングする。
• 防御手法の統合と、敵対的能力に適応する防御の議論。
• レビューに基づく得られた教訓と将来の研究方向性について議論する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング段階とテスト段階を通じてAIシステムに影響を与える主要な敵対的脅威モデルは何か？
• RQ2 強化学習や連合学習を含むさまざまなAIパラダイムは、攻撃表面と防御戦略にどのように影響するか？
• RQ3 AIモデルの敵対的攻撃と防御の分類を最も的確に捉えるフレームワークは何か？
• RQ4 産業界と社会におけるAIシステムのセキュリティ確保の主要な課題と今後の方向性は何か？

主な発見

• 本論文は、さまざまなML/DLタスクにおけるポイズニング、回避、バックドアなど広範な敵対的攻撃を特定し、攻撃者の目的と知識の統合的な観察を提供する。
• AIモデルに対する敵対的脅威を定量化・比較する包括的な攻撃分析フレームワークを導入する。
• 多数の防御技術をレビュー・比較し、進化する敵対的能力に対応する適応的防御の必要性を強調する。
• AIにおけるセキュリティ/プライバシー研究の成長を浮き彫りにし、以前の調査のギャップと限界を指摘し、より統合的な視点を提供する。
• 連合学習は分散データとモデル更新に起因する異なるセキュリティ上の考慮事項を伴う、プライバシー志向のパラダイムとして議論される。