[論文レビュー] A Survey on Resilient Machine Learning

Atul Kumar, Sameep Mehta|arXiv (Cornell University)|Jul 11, 2017

Adversarial Robustness in Machine Learning参考文献 31被引用数 14

ひとこと要約

本サーベイは、機械学習システムにおける敵対的脆弱性について、データ収集、トレーニング、デプロイメントの各フェーズをカバーする包括的な分析を提供する。攻撃と防御の体系的分類を提案し、レジliエンスを高めるための強固なモデル設計と脅威に配慮したトレーニングに重点を置き、攻撃表面の統合と将来のセキュアなML開発を導く主な貢献を果たす。

ABSTRACT

Machine learning based system are increasingly being used for sensitive tasks such as security surveillance, guiding autonomous vehicle, taking investment decisions, detecting and blocking network intrusion and malware etc. However, recent research has shown that machine learning models are venerable to attacks by adversaries at all phases of machine learning (eg, training data collection, training, operation). All model classes of machine learning systems can be misled by providing carefully crafted inputs making them wrongly classify inputs. Maliciously created input samples can affect the learning process of a ML system by either slowing down the learning process, or affecting the performance of the learned mode, or causing the system make error(s) only in attacker's planned scenario. Because of these developments, understanding security of machine learning algorithms and systems is emerging as an important research area among computer security and machine learning researchers and practitioners. We present a survey of this emerging area in machine learning.

研究の動機と目的

• 機械学習ライフサイクルの全段階にわたり、機械学習システムを標的とする敵対的脅威を特定および分類すること。
• モデルトレーニング、推論、データ収集における脆弱性を分析し、悪意ある操作を可能にする要因を特定すること。
• 既存の防御戦略を統合し、レジリエントな機械学習研究におけるギャップを浮き彫りにすること。
• 実世界のMLデプロイメントにおける敵対的リスクの理解と緩和のための統一フレームワークを提供すること。

提案手法

• 教師あり、教師なし、強化学習の各分野にわたり、敵対的例、データ汚染、モデル回避攻撃を対象とした体系的レビュー。
• 脅威モデル、攻撃表面、および敵対的目標（例：誤分類、モデル逆転）に基づく攻撃の分類。
• 入力前処理、ロバストトレーニング、認証ベースのアプローチに分類された防御メカニズムの分類。
• 防御戦略におけるモデルの精度、レジリエンス、計算オーバーヘッドのトレードオフの分析。
• 自動運転車両やインシデント検知など、MLセキュリティが重要な実世界の応用分野の調査。
• レジリエントな機械学習システムを構築するうえでの未解決の課題と今後の研究方向性の統合。

実験結果

リサーチクエスチョン

• RQ1 データ収集、トレーニング、推論の各段階で、機械学習システムを標的とする主な攻撃ベクトルは何か？
• RQ2 敵対的例は、元のデータ分布を変更せずに、どのようにモデルの挙動を操作するのか？
• RQ3 回避攻撃、データ汚染攻撃、モデル抽出攻撃に対して効果的な防御メカニズムは何か？
• RQ4 レジリエンスと精度のトレードオフは、レジリエントなMLモデルのデプロイメントにどのように影響するか？
• RQ5 機械学習システムにおけるエンドツーエンドのレジリエンスを達成するうえでの主な未解決課題は何か？

主な発見

• 敵対的攻撃は、深層ニューラルネットワークや従来の分類器を含む、あらゆる機械学習パラダイムにおいて、モデルを誤導することができる。
• 非常に小さな、人間には感知できない入力の摂動ですら、最先端のモデルで高信頼度の誤分類を引き起こすことができる。
• 敵対的トレーニングや入力前処理などの防御策は、レジリエンスを向上させるが、通常、クリーンデータに対する精度が低下するという代償を伴う。
• データ汚染攻撃は、モデルの性能を低下させたり、特定のトリガーが発動した際に作動するバックドアを埋め込むことができる。
• モデル逆転攻撃やメンバーシップインファレンス攻撃により、機密なトレーニングデータが露呈されることがあり、精度を超えたプライバシーのリスクが浮き彫りになる。
• 将来の研究およびセキュアなMLシステムのデプロイメントを導くために、統一された脅威モデルと防御分類法が不可欠である。