[論文レビュー] ConAML: Constrained Adversarial Machine Learning for Cyber-Physical Systems

Jiangnan Li, Yingyuan Yang+3 more|arXiv (Cornell University)|Mar 12, 2020

Adversarial Robustness in Machine Learning参考文献 54被引用数 17

ひとこと要約

本稿では、現実の物理的制約、知識的制約、時間的制約の下で、サイバー物理システム（CPS）向けに敵対的サンプルを生成するフレームワーク「制約付き敵対的機械学習（ConAML）」を提案する。線形物理的制約を最良の試行法アルゴリズムに統合することで、ConAMLは電力系統や水処理システムにおいて、最小限の摂動と高い回避率で、機械学習（ML）モデルの性能を著しく低下させることに成功した。

ABSTRACT

Recent research demonstrated that the superficially well-trained machine learning (ML) models are highly vulnerable to adversarial examples. As ML techniques are becoming a popular solution for cyber-physical systems (CPSs) applications in research literatures, the security of these applications is of concern. However, current studies on adversarial machine learning (AML) mainly focus on pure cyberspace domains. The risks the adversarial examples can bring to the CPS applications have not been well investigated. In particular, due to the distributed property of data sources and the inherent physical constraints imposed by CPSs, the widely-used threat models and the state-of-the-art AML algorithms in previous cyberspace research become infeasible. We study the potential vulnerabilities of ML applied in CPSs by proposing Constrained Adversarial Machine Learning (ConAML), which generates adversarial examples that satisfy the intrinsic constraints of the physical systems. We first summarize the difference between AML in CPSs and AML in existing cyberspace systems and propose a general threat model for ConAML. We then design a best-effort search algorithm to iteratively generate adversarial examples with linear physical constraints. We evaluate our algorithms with simulations of two typical CPSs, the power grids and the water treatment system. The results show that our ConAML algorithms can effectively generate adversarial examples which significantly decrease the performance of the ML models even under practical constraints.

研究の動機と目的

• 物理法則、センサのサンプリングレート、制限された攻撃者知識といった現実の制約の下で、CPSにおけるMLモデルの敵対的攻撃への脆弱性を調査すること。
• 既存の敵対的機械学習（AML）研究では完全な知識と独立した特徴量を仮定しているが、CPSの真の制約をモデル化することでこのギャップを埋めること。
• 線形物理的制約を満たすとともに、CPSにおける検出メカニズムを回避する敵対的サンプルを生成する実用的な攻撃フレームワークを設計すること。
• 電力系統や水処理システムを含む実世界のCPSアプリケーションにおいて、さまざまな攻撃シナリオ（ブラックボックス、 GRAYBOX など）の下でConAMLの有効性を評価すること。
• 厳格な制約下でも、敵対的サンプルがCPSにおけるMLベースの侵入検知システムの性能を著しく低下させられることを示すこと。

提案手法

• 物理的制約、制限された攻撃者知識、時間的制約を考慮した、CPSにおける敵対的機械学習の一般的な脅威モデルを提案する。
• 完全なモデルアクセスがなくても敵対的サンプルを生成できるようにするため、知識的制約を克服するための汎用的敵対的測定アルゴリズムを導入する。
• 線形物理的制約の下で反復的に敵対的入力を生成する最良の試行法アルゴリズムを設計し、制約行列Φを用いてシステム法則（例：キルヒホッフの法則）を符号化する。
• 敵対的成功（誤分類）と制約の満たし方のバランスを取る損失関数を採用し、生成されたサンプルが物理的に妥当であることを保証する。
• L2ノルムの最小化とステルス性の維持を同時に達成するため、サンプリングに基づく最適化アプローチを用いて摂動の妥当領域を探索する。
• 実際のMLモデルとシステム制約を用いて、電力系統における不正データインジェクション（FDIA）と水処理システムにおける異常検知を、2つのCPS事例として評価する。

実験結果

リサーチクエスチョン

• RQ1 キルヒホッフの法則などの物理的制約を満たす敵対的サンプルをCPSで生成可能か？ また、それらはMLベースの侵入検知モデルを欺くことができるか？
• RQ2 攻撃者がモデルや信頼できるセンサデータにアクセスできないブラックボックス環境下で、ConAMLの有効性はいかがなものか？
• RQ3 CPSにおける敵対的成功確率、摂動の大きさ（L2ノルム）、制約の複雑さの間にはどのようなトレードオフがあるか？
• RQ4 白箱、 GRAYBOX 、ブラックボックスといった異なる攻撃シナリオは、実際のCPSにおける敵対的サンプルの検出可能性と性能にどのように影響を与えるか？
• RQ5 ConAMLは、大きさが小さく、かつ実際のCPS環境における検出メカニズムを効果的に回避できる敵対的サンプルを生成できるか？

主な発見

• ブラックボックス環境下でも、ConAMLは電力系統のFDIAモデルにおいて、最小限の摂動で検出精度を0%まで低下させることに成功した。
• ブラックボックス攻撃では、L2ノルムが0.411で検出精度1.14%を達成し、ベースライン（erba2019real）よりも精度と不正データサイズの両面で優れていた。
• ConAMLでは、最高の攻撃者シナリオと比較して、注入された不正データのサイズが小さく抑えられており、より強い制約の強化による高いステルス性が裏付けられた。
• 制約強度（λ）が高くなるほど、検出確率が上昇した。これは、より複雑な制約は攻撃成功を低下させるが、物理的リアリズムを向上させることを示している。
• 最良の試行法アルゴリズムは制約の複雑さに比例してスケーリングした：より多くのセンサが改ざんされると、制約行列が大きくなり、計算時間が延長された（ブラックボックス環境で最大451.8ms）。
• 水処理システムの事例では、グレイボックスモードでL2 = 0.184の最小摂動で88.4%の攻撃成功率を達成し、多様なCPSアプリケーションへの有効性が示された。