[論文レビュー] Security of Distributed Machine Learning: A Game-Theoretic Approach to Design Secure DSVM

Rui Zhang, Quanyan Zhu|arXiv (Cornell University)|Mar 8, 2020

Network Security and Intrusion Detection参考文献 49被引用数 4

ひとこと要約

本稿では、ADMMに基づく分散アルゴリズムを用いて、データ汚染攻撃およびネットワークベースの攻撃から分散サポートベクターマシン（DSVM）を保護するためのゲーム理論的フレームワークを提案する。主な貢献は、ネットワークトポロジーがDSVMのセキュリティに顕著な影響を与えることを示したことである。特に、高次数のノードや密度の高いネットワークは、ネットワーク攻撃における最小限のノイズ注入に対しても、攻撃者による操作に対してより脆弱であることを明らかにした。

ABSTRACT

Distributed machine learning algorithms play a significant role in processing massive data sets over large networks. However, the increasing reliance on machine learning on information and communication technologies (ICTs) makes it inherently vulnerable to cyber threats. This work aims to develop secure distributed algorithms to protect the learning from data poisoning and network attacks. We establish a game-theoretic framework to capture the conflicting goals of a learner who uses distributed support vector machines (SVMs) and an attacker who is capable of modifying training data and labels. We develop a fully distributed and iterative algorithm to capture real-time reactions of the learner at each node to adversarial behaviors. The numerical results show that distributed SVM is prone to fail in different types of attacks, and their impact has a strong dependence on the network structure and attack capabilities.

研究の動機と目的

• 分散機械学習（DML）システムが増大するサイバー脅威、特にデータ汚染およびネットワークベースの攻撃に対して脆弱であるという問題に対処すること。
• 訓練データおよびラベルを改ざんできる攻撃者とDSVM学習者との戦略的相互作用を、ゲーム理論を用いてモデル化すること。
• 各ノードでリアルタイムで適応可能な完全に分散化された反復的防御メカニズムを開発すること。
• ネットワーク構造および攻撃タイプがDSVMのセキュリティおよびレジリエンスに与える影響を分析すること。
• 先行研究を拡張し、攻撃を機械学習型とネットワーク型に分類し、その連鎖的影響を評価すること。

提案手法

• DSVM学習者と訓練データおよびラベルを改ざんできる攻撃者との敵対的相互作用をモデル化するためのミニマックスゲーム理論的問題を定式化する。
• 問題を局所的サブ問題に分解できるように、交替方向乗数法（ADMM）を適用する。
• 各ノードが反復的かつリアルタイムに、学習者用のサブ最小問題と攻撃者用のサブ最大問題を独立して解く。
• 機械学習攻撃（データ汚染、ラベル反転）とネットワーク攻撃（ノード乗っ取り、シビル攻撃、MITM攻撃）を、制御されたノイズ注入とともにモデル化する。
• さまざまなネットワークトポロジーおよび攻撃シナリオ下での数値的妥当性検証に、Spambaseデータセットを用いる。
• 敵対的条件下でのノードごとの行動および情報伝播を分析し、システム全体のリスクを評価する。

実験結果

リサーチクエスチョン

• RQ1 特にデータ汚染攻撃およびネットワークベースの攻撃が、分散SVMの性能およびセキュリティにどのように影響を与えるか。
• RQ2 ネットワークトポロジーが、敵対的条件下でのDSVMのレジリエンスを決定づける役割を果たすか。
• RQ3 ノードの次数が、攻撃下での脆弱性および全体のシステムリスクに与える影響は何か。
• RQ4 通信における小さな摂動（例：通信ノイズ）が、DSVMシステム全体をどれほど損なう可能性があるか。
• RQ5 ゲーム理論的で分散化された防御戦略は、リアルタイムで複数段階の敵対的行動に対処できるか。

主な発見

• 分散SVMは、データ汚染攻撃およびネットワーク型攻撃の両方に対して極めて脆弱であり、半数以上のノードまたは接続が改ざんされると、性能が著しく低下する。
• ノード数が少なく、次数が高いネットワークはリスクが低く、バランスの取れたトポロジーが、システム全体の攻撃に対してよりレジリエントであることを示唆している。
• 次数の高いノードは攻撃に対してより脆弱であり、攻撃を受けると全体のシステムに大きな損害を及ぼし、全体の失敗リスクを高める。
• 通信におけるわずかなノイズ注入（例：R=0.01–0.05）ですら、特にシビル攻撃およびMITM攻撃において、DSVMの性能を著しく劣化させる。
• 攻撃者が半数以上のノードまたは接続を制御すると、DSVMは完全に機能不能となり、ランダムラベルと同等の状態に陥ることを示し、臨界閾値が存在することを明らかにした。
• ゲーム理論的ADMMベースのフレームワークにより、リアルタイムかつ局所的な反応が可能となり、動的で大規模な分散機械学習システムに適している。