[論文レビュー] Security and Machine Learning in the Real World

Ivan Evtimov, Weidong Cui+4 more|arXiv (Cornell University)|Jul 13, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用数 8

ひとこと要約

この論文は、敵対的機械学習セキュリティが、個別のモデル防御からシステムセキュリティの視点へ移行する必要があると主張し、入力検証、マルチモデル検証、耐性のある入力モダリティといった実用的な緩和策を提案している。標準化された障害データベースの構築と、MLシステムに適合した再編されたセキュリティ慣行の推進を呼びかけ、理論的攻撃を超えて現実世界の耐性を高める。

ABSTRACT

Machine learning (ML) models deployed in many safety- and business-critical systems are vulnerable to exploitation through adversarial examples. A large body of academic research has thoroughly explored the causes of these blind spots, developed sophisticated algorithms for finding them, and proposed a few promising defenses. A vast majority of these works, however, study standalone neural network models. In this work, we build on our experience evaluating the security of a machine learning software product deployed on a large scale to broaden the conversation to include a systems security view of these vulnerabilities. We describe novel challenges to implementing systems security best practices in software with ML components. In addition, we propose a list of short-term mitigation suggestions that practitioners deploying machine learning modules can use to secure their systems. Finally, we outline directions for new research into machine learning attacks and defenses that can serve to advance the state of ML systems security.

研究の動機と目的

• 理論的敵対的ML研究と実用MLアプリケーションにおける実際のシステムセキュリティのギャップを埋めること。
• 現代の機械学習パイプラインに伝統的なシステムセキュリティ慣行を適用する際の欠陥を特定すること。
• 生産環境におけるMLコンponentを保護する実務家向けの即効性のある緩和策を提示すること。
• MLセキュリティを現実世界の脅威モデルとシステムレベルのベストプラクティスに整合させる、新たな研究分野を提唱すること。
• 未知の未知の要因を減らすために、公開・標準化された敵対的障害事例データベースを確立すること。

提案手法

• 敵対的MLをシステムセキュリティ問題として再定式化し、個別のモデルの頑健性よりもエンドツーエンドのシステム動作を重視すること。
• 実際の導入事例を分析し、入力検証やパッチ適用といった標準的なセキュリティ慣行をMLシステムに適用する際の実務的課題を同定すること。
• 複数のモデルを統合する手法を、敵対的入力を検出・拒否するための防御のイン・ディフェンス機構として提案すること。
• 敵対的例を生成するコストを高めるために、耐性のある入力モダリティ（例：構造化済みまたは制約付き入力）を導入すること。
• モデルの信頼性向上と未知の脆弱性の低減を目的として、標準化され、公開可能な障害事例データベースの構築を提唱すること。
• 脆弱性を修正しながら出力分布を損なわずに機能を保持する新しい更新メカニズムを推奨すること。

実験結果

リサーチクエスチョン

• RQ1 理論的敵対的ML研究で想定される理想化された敵対者と、現実世界の敵対者はどのように異なるか？
• RQ2 なぜアルゴリズム的防御は理論的には強くても、実際の現場ではセキュリティ向上に寄与しないのか？
• RQ3 複雑でデータ駆動型のコンponentsを備えた機械学習パイプラインを保護するために、どのようなシステムセキュリティ原則を応用できるか？
• RQ4 モデル入力が高次元かつ意味的に豊富なシステムでは、どのようにして入力検証やパッチ適用を効果的に行えるか？
• RQ5 公開・標準化された敵対的障害事例データベースが、MLシステムの頑健性向上に果たす役割は何か？

主な発見

• 現実世界の敵対者は、入力に対して微小でターゲットされた摂動を加えることができないことが多く、これが多くの標準的敵対的防御が実際には効果を発揮しない理由である。
• 入力検証やパッチ適用といった一般的なシステムセキュリティ慣行は、モデル入力の複雑さと統計的性質のため、MLシステムでは実装が困難である。
• マルチモデル検証は、攻撃者が複数の独立して訓練されたモデルを同時にだます必要があるため、攻撃のコストを著しく高める。
• 構造化済みまたは制約付き入力といった耐性のある入力モダリティは、敵対的例を生成する本質的なコストを高める。
• 公開・標準化された障害事例データベースがあれば、モデル開発における未知の未知の要因が減少し、一般化性能の向上と迅速な緩和が可能になる。
• 現在のモデル更新慣行は、しばしばモデルの挙動や出力分布を損なうため、脆弱性を修正しながら機能を保持する新しい更新メカニズムの導入が不可欠である。