[論文レビュー] Advancing the Research and Development of Assured Artificial Intelligence and Machine Learning Capabilities

Tyler J. Shipp, Daniel J. Clouse+5 more|arXiv (Cornell University)|Sep 24, 2020

Adversarial Robustness in Machine Learning参考文献 8被引用数 6

ひとこと要約

この論文は、米国国防総省および情報機関における確実な人工知能・機械学習（AI/ML）能力の発展を促進するため、A2Iワーキンググループが主導する共同フレームワークを提案する。本論文は、AIおよび機械学習に対する敵対的攻撃に対する強固な防御を構築することを目的とし、AIの信頼性の高い耐性、システムセキュリティ、アーキテクチャ上の脆弱性に関する的を射ねた研究を実施する。主な貢献は、国家防衛分野で使用されるAI/MLシステムにおける信頼性を高めるための構造的かつ横断的な共同イニシャチブを確立したことである。

ABSTRACT

Artificial intelligence (AI) and machine learning (ML) have become increasingly vital in the development of novel defense and intelligence capabilities across all domains of warfare. An adversarial AI (A2I) and adversarial ML (AML) attack seeks to deceive and manipulate AI/ML models. It is imperative that AI/ML models can defend against these attacks. A2I/AML defenses will help provide the necessary assurance of these advanced capabilities that use AI/ML models. The A2I Working Group (A2IWG) seeks to advance the research and development of assured AI/ML capabilities via new A2I/AML defenses by fostering a collaborative environment across the U.S. Department of Defense and U.S. Intelligence Community. The A2IWG aims to identify specific challenges that it can help solve or address more directly, with initial focus on three topics: AI Trusted Robustness, AI System Security, and AI/ML Architecture Vulnerabilities.

研究の動機と目的

• 防衛および情報機関のシステムに対する敵対的AIおよび機械学習（A2I/AML）攻撃の増大する脅威に対処する。
• 軍事および情報分野で使用されるAI/ML能力における信頼性を高めるために、信頼できる防御策を開発する。
• 米国国防総省および情報機関間の共同研究環境を構築する。
• 初期の取り組みを、AIの信頼性の高い耐性、AIシステムセキュリティ、AI/MLアーキテクチャ上の脆弱性の3つの核心的課題に集中させる。
• 高リスクの運用環境におけるAI/MLシステムのレジリエンスと信頼性を高めるための、構造的かつ体系的なR&Dの道筋を提供する。

提案手法

• AI/MLの信頼性に関する研究を調整するため、A2Iワーキンググループ（A2IWG）を設立し、横断的機関フォーラムを構築する。
• AIモデルが入力レベルの操作に対してどのように影響を受けるかを防ぐために、敵対的耐性に関する研究を優先する。
• 実行時およびインfraストラクチャレベルの侵害からAI/MLパイプラインを保護するためのシステムレベルのセキュリティを調査する。
• 敵対者が利用可能にできる潜在的な脆弱性を有するAI/MLシステムアーキテクチャを分析する。
• 防衛および情報機関間の協力を促進し、R&Dの取り組みを統一し、脅威インテリジェンスを共有する。
• AAAIなど既存の研究を活用し、実用的な防御策の開発を促進・加速する。

実験結果

リサーチクエスチョン

• RQ1 AI/MLモデルは、予測を操作するような入力に対する攻撃に対して、どのようにして耐性を持たせることができるか？
• RQ2 AI/MLパイプラインの侵害から保護するために、どのようなシステムレベルのセキュリティ制御が最も効果的か？
• RQ3 AI/MLシステムのアーキテクチャパターンの中で、攻撃者が利用可能な脆弱性を生じさせるものは何か？
• RQ4 横断的機関連携は、確実なAI/ML能力の開発および展開をどのように改善できるか？
• RQ5 防衛用途におけるAI/MLシステムのレジリエンスを評価するために、どのような測定可能な信頼性指標を適用できるか？

主な発見

• A2Iワーキンググループは、防衛分野のAI/MLシステムにおける重要な信頼性課題に対処するための共同R&Dフレームワークを成功裏に確立した。
• AIの信頼性の高い耐性、システムセキュリティ、アーキテクチャ上の脆弱性に焦点を当てた初期の取り組みにより、対処が必要な主要な脅威表面が特定された。
• 本論文は、敵対的AI/ML攻撃に対する効果的な防御を構築するためには、連携した横断的機関研究が不可欠であることを示している。
• このイニシャチブは、すでにAAAI FSS-20で研究結果が発表されており、政府および公共部門のAIコミュニティにおける早期の採用と検証を示している。
• フレームワークにより、国家安全保障の目的を直接支援する高インパクトの研究分野を優先順位付けできるようになった。
• 本研究は、機密性の高い防衛および情報分野のAI/MLアプリケーションにおける標準化された信頼性の実践を構築する基盤を提供している。