[論文レビュー] Summoning Demons: The Pursuit of Exploitable Bugs in Machine Learning

Rock Stevens, Octavian Suciu+4 more|arXiv (Cornell University)|Jan 17, 2017

Adversarial Robustness in Machine Learning参考文献 19被引用数 11

ひとこと要約

本論文では、攻撃表面を探索することで、機械学習システムにおける利用可能な実装バグを特定する半自動的手法であるステアド・ファジングを紹介する。この手法は、従来の入力摂動技術よりも強力な対抗的攻撃を可能にする脆弱性を特定する。その結果、5件の公開された脆弱性と3件の新しいCVE-IDが得られた。

ABSTRACT

Governments and businesses increasingly rely on data analytics and machine learning (ML) for improving their competitive edge in areas such as consumer satisfaction, threat intelligence, decision making, and product efficiency. However, by cleverly corrupting a subset of data used as input to a target's ML algorithms, an adversary can perturb outcomes and compromise the effectiveness of ML technology. While prior work in the field of adversarial machine learning has studied the impact of input manipulation on correct ML algorithms, we consider the exploitation of bugs in ML implementations. In this paper, we characterize the attack surface of ML programs, and we show that malicious inputs exploiting implementation bugs enable strictly more powerful attacks than the classic adversarial machine learning techniques. We propose a semi-automated technique, called steered fuzzing, for exploring this attack surface and for discovering exploitable bugs in machine learning programs, in order to demonstrate the magnitude of this threat. As a result of our work, we responsibly disclosed five vulnerabilities, established three new CVE-IDs, and illuminated a common insecure practice across many machine learning systems. Finally, we outline several research directions for further understanding and mitigating this threat.

研究の動機と目的

• 実装レベルのバグに起因する機械学習プログラムの攻撃表面を特定すること。
• ML実装のバグが、古典的な入力摂動技術よりも強力な対抗的攻撃を可能にすることを示すこと。
• 機械学習システムにおける利用可能なバグを体系的かつ効果的に探索・発見するための半自動的手法、ステアド・ファジングの開発と評価すること。
• 脆弱性を責任ある形で開示し、MLシステム全体に共通する不安全な実装慣習を特定すること。

提案手法

• 機械学習ライブラリやフレームワークにおける実装レベルのバグがどのように利用可能になるかを分析することで、MLプログラムの攻撃表面を定義すること。
• 記号実行とフィードバック指向の変異を組み合わせることで、ファジング入力を攻撃可能な挙動を引き起こす方向に誘導する手法として、ステアド・ファジングを設計すること。
• クラッシュ、不正な出力、予期しない制御フローなどの異常な挙動を監視するため、MLプログラムをインストルメント化すること。
• 実行時フィードバックを活用して、ML推論および学習パイプラインにおける脆弱性を露呈する入力へファジングを誘導すること。
• テンソル演算や勾配計算などのML演算のドメイン固有の知識をファジャーに統合することで、攻撃可能性を向上させること。
• 実世界のMLシステムに適用することで、未知の脆弱性を同定するなど、手法の有効性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 機械学習システムにおける実装バグがもたらす攻撃表面の範囲と性質は何か？
• RQ2 ML実装のバグが、従来の入力摂動手法と比較して、どのようにより強力な対抗的攻撃を可能にするか？
• RQ3 ステアド・ファジングのような半自動的手法が、スケールを考慮してMLプログラムにおける利用可能なバグを効果的に発見できるか？
• RQ4 MLシステム全体に広がる共通の不安全なコーディング慣習は何か、それが脆弱性のリスクを高める要因となるか？

主な発見

• ステアド・ファジングは、実世界の機械学習システムに5件の以前未知の脆弱性を効果的に発見した。
• 発見された脆弱性は3件の新しいCVE-IDが割り当てられ、その深刻さと再現可能性が確認された。
• 実装バグに起因する攻撃表面は、古典的な対抗的例よりも強力な対抗的操作を可能にする。
• 複数のシステムに共通する不安全な実装慣習として、MLライブラリにおける不適切な入力検証が特定され、攻撃可能性が高まっていた。
• 本手法は、標準的な対抗的耐性テストでは検出できないゼロデイ脆弱性を効果的に特定することができた。
• 結果から、現在のMLセキュリティ慣行における重要なギャップが浮き彫りになった。これは、実装レベルの強化の必要性を強調するものである。