[論文レビュー] Attacking Machine Learning models as part of a cyber kill chain

Tam N. Nguyen|arXiv (Cornell University)|May 1, 2017

Network Security and Intrusion Detection被引用数 8

ひとこと要約

本稿では、機械学習モデルに対する敵対的攻撃を構造的で段階的な攻撃ライフサイクルにマッピングする、新しい脅威モデルである機械学習サイバーキルチェーン（ML-CKC）を紹介する。伝統的なサイバーキルチェーンにインspiredされたが、ML固有の脅威に特化している。主な提言として、設計段階での脅威モデリング、モデルの監査可能性、セキュアなソフトウェア開発手法、運用コストモデリングの4点を提示。機械学習ベースのセキュリティシステムの現実世界での耐性を、単なる正答率という指標を超えて高めることを目的としている。

ABSTRACT

Machine learning is gaining popularity in the network security domain as many more network-enabled devices get connected, as malicious activities become stealthier, and as new technologies like Software Defined Networking emerge. Compromising machine learning model is a desirable goal. In fact, spammers have been quite successful getting through machine learning enabled spam filters for years. While previous works have been done on adversarial machine learning, none has been considered within a defense-in-depth environment, in which correct classification alone may not be good enough. For the first time, this paper proposes a cyber kill-chain for attacking machine learning models together with a proof of concept. The intention is to provide a high level attack model that inspire more secure processes in research/design/implementation of machine learning based security solutions.

研究の動機と目的

• 機械学習研究の学術的成果と実運用におけるセキュリティ分野のギャップを埋めるために、MLベースのセキュリティソリューションに特化した脅威モデルを提案すること。
• 高い正答率だけでは現実世界のMLセキュリティシステムが不十分であり、敵対的改ざんや運用上の課題に耐えられないと強調すること。
• MLベースのサイバー防御システムのセキュリティ、監査可能性、保守性を向上させるための実行可能な提言を提供すること。
• 防御の多層的アプローチの文脈において、ML固有の脅威を形式化し、攻撃者がMLライフサイクルの各段階でモデルの脆弱性を悪用できることを強調すること。

提案手法

• 6段階に分けた高レベルの脅威モデリング——レコンサイスランス、ワクティナイゼーション、デリバリー、エクスロイテーション、インストール、コマンドアンドコントロール——を、MLモデル攻撃に適合させた「MLサイバーキルチェーン」を提案。
• ロシア人形アプローチを用い、セキュリティオペレーションセンター（S.O.C.）という広い文脈から始めて、徐々にML固有の脅威へと焦点を絞る。
• 実際のSDNベースのMLセキュリティソリューション（例：Table I より）を統合し、脅威モデルを実運用環境に根ざしたものにし、パフォーマンスベンチマークにも活用。
• モデルの変更履歴、モデルドリフト、偽陽性／偽陰性率、攻撃検出シグナルのログ記録を含む、組み込み型の監査可能性を設計段階で組み込むよう提言。
• 静的解析、コードレビュー、可能な範囲での形式的検証を含む、セキュアなソフトウェア開発ライフサイクル（SDLC）手法の推進を提唱。
• モデルの複雑さ、パフォーマンス、敵対的入力への耐性のトレードオフを評価するための運用コストモデリングの構築を提言。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルに対する敵対的攻撃を、サイバーキルチェーンフレームワーク内で体系的にモデリングする方法は何か？
• RQ2 MLベースのセキュリティシステムにおける主な脆弱性は何か？攻撃者はモデルのデプロイの各段階でそれらをどのように悪用できるか？
• RQ3 MLモデルの設計者は、正答率を超えて、現実世界の運用環境においても耐性を高めるにはどうすればよいか？
• RQ4 モデルの監査可能性は、敵対的改ざんの検出と対応にどのように寄与するか？
• RQ5 運用コストモデリングは、MLベースのサイバー防御システムの長期的持続可能性とセキュリティを評価するためにどのように役立つか？

主な発見

• MLサイバーキルチェーンは、サイバー分野における機械学習モデルに対する敵対的攻撃を理解し防御するための構造的で実行可能なフレームワークを提供する。
• 脅威モデリングや強化を考慮しない限り、高い正答率（例：複数のSDNベースのソリューションで98％）を持つモデルでも、敵対的改ざんに対して脆弱であることがある。
• 変更履歴のログ記録、ドリフト検出、異常指標の監査可能性は、デプロイ後におけるセキュリティとインcidnetレスポンス能力を顕著に向上させる。
• 静的解析や形式的検証を含むセキュアなソフトウェア開発手法は、攻撃面積の低減とMLシステムにおけるサイドチャnel漏洩の防止に不可欠である。
• 運用コストモデリングは、特にセキュリティアプリケーションにおける偽陰性の現実世界でのコストを定量化するうえで、極めて重要である。
• 提言されたフレームワークにより、正答率のみの評価から、耐性、保守性、セキュリティの包括的評価へのシフトが可能となり、本番環境でのデプロイに不可欠である。