[論文レビュー] Adversarial Machine Learning -- Industry Perspectives

Ram Shankar Siva Kumar, Magnus Nyström+6 more|arXiv (Cornell University)|Feb 4, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用数 50

ひとこと要約

本論文は、28組織に及ぶ産業調査で、敵対的攻撃からのMLシステムの保護に広範なギャップがあることを示し、産業用MLセキュリティのSDL整合的な研究方向を提案する。

ABSTRACT

Based on interviews with 28 organizations, we found that industry practitioners are not equipped with tactical and strategic tools to protect, detect and respond to attacks on their Machine Learning (ML) systems. We leverage the insights from the interviews and we enumerate the gaps in perspective in securing machine learning systems when viewed in the context of traditional software security development. We write this paper from the perspective of two personas: developers/ML engineers and security incident responders who are tasked with securing ML systems as they are designed, developed and deployed ML systems. The goal of this paper is to engage researchers to revise and amend the Security Development Lifecycle for industrial-grade software in the adversarial ML era.

研究の動機と目的

• 産業を横断して、組織が敵対的攻撃に対してMLシステムをどのように保護しているかを評価する。
• 本番環境におけるMLセキュリティのツール、プロセス、人員のギャップを特定する。
• 従来のソフトウェアSDLと敵対的ML特有のセキュリティ要件を橋渡しする。
• 工業用MLのためのセキュリティ開発ライフサイクルを改正する研究課題を提案する。
• ML開発者とセキュリティインシデント対応者への実用的な示唆を提供する。

提案手法

• 28組織にわたり、2つのペルソナ（開発者/MLエンジニアとセキュリティインシデント対応者）へのインタビューを実施する。
• 所見をSDLフェーズ（設計/開発、展開、攻撃下）にマッピングする。
• ML向けに特化した構造化SDLフレームワークを用いてセキュリティのギャップを列挙する。
• 今後の研究方向と産業実務に合わせた実用的なツールの整合性を提案する。

実験結果

リサーチクエスチョン

• RQ1 産業界における敵対的攻撃に対するMLシステムの現在の確保状況はどのようか。
• RQ2 組織横断でのMLセキュリティのツール・実践・知識の主要なギャップは何か。
• RQ3 産業規模のソフトウェアにおいて敵対的MLをカバーするよう、セキュリティ開発ライフサイクルをどう修正できるか。
• RQ4 MLシステムの設計・展開・監視・インシデント対応を改善する研究方向は何か。

主な発見

• 28組織中25組織がMLシステムを保護する適切なツールを欠き、指針を求めている。
• 敵対的MLに専任人員を置く組織は6社のみで、いずれも大規模組織または政府機関。
• 現在の実務では、多くのセキュリティエンジニアはML攻撃を検知・対応できない。
• 回答者はPoisoningを自組織の最大の攻撃懸念として挙げた（10票）。
• Model Stealing（6票）とModel Inversion（4票）も注目すべき懸念。
• プラットフォームにおけるMLセキュリティの期待と、セキュリティ分析者および開発者の現実との間に乖離がある。