[論文レビュー] An Optimal Control View of Adversarial Machine Learning

Xiaojin Zhu|arXiv (Cornell University)|Nov 11, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用数 9

ひとこと要約

本稿は、敵対的機械学習を、敵が戦略的な摂動によって機械学習システムを操作する制御者として機能する決定的で離散時間の最適制御問題としてフレームワーク化する。攻撃を明確な力学的ダイナミクス、コスト、目的を持つ制御プロセスとしてモデル化することで、データ汚染、テスト時攻撃、報酬設計といった多様な敵対的状況を統一的な枠組みで扱う。これにより、制御理論や強化学習の手法を敵対的攻撃の設計および防御戦略の向上に応用可能となる。

ABSTRACT

I describe an optimal control view of adversarial machine learning, where the dynamical system is the machine learner, the input are adversarial actions, and the control costs are defined by the adversary's goals to do harm and be hard to detect. This view encompasses many types of adversarial machine learning, including test-item attacks, training-data poisoning, and adversarial reward shaping. The view encourages adversarial machine learning researcher to utilize advances in control theory and reinforcement learning.

研究の動機と目的

• データ汚染、テスト時回避攻撃、報酬設計といった多様な敵対的機械学習攻撃を、最適制御フレームワークの下で統一すること。
• 攻撃を明確なシステムダイナミクスとコスト関数を有する制御問題として形式化することで、確立された制御理論および強化学習手法を敵対的機械学習に応用可能にする。
• i.i.d.仮定や集中不等式に依存しない、敵対的機械学習の概念的・数学的基盤を提供し、最適制御理論と整合させる。
• 敵の行動に影響を与える能力を制限することで、可制御性の制限を防御メカニズムとして特定すること。
• 教育における機械学習やパーソナライズド教育への応用を含め、敵対的状況を超えた広範な適用可能性を示す。

提案手法

• 機械学習者を、状態 $\mathbf{x}_t$、制御入力 $\mathbf{u}_t$、既知のシステムダイナミクス $f$ による状態遷移を有する力学的システムとしてモデル化する。
• 有限時間ホライズンの最適制御定式化を用いて敵の制御問題を定義し、実行コスト $g_t(\mathbf{x}_t, \mathbf{u}_t)$ と終端コスト $g_T(\mathbf{x}_T)$ を導入し、時間経過に伴う総コストを最小化する。
• 学習者のモデル更新（例：経験的リスク最小化によるSVM）をシステムダイナミクス $f$ としてモデル化することで、訓練データ汚染に本フレームワークを適用する。
• テスト時攻撃および報酬設計を、敵が入力または報酬を操作して学習者を所望の行動へ誘導する逐次的制御問題として表現する。
• 観測された状態から敵行動へのマッピングとして制御方策 $\phi_t(\mathbf{x}_t) = \mathbf{u}_t$ を用い、コストは努力と成功度の指標を反映する。
• システムダイナミクス $f$ が未知の場合には強化学習やロバスト制御を用い、学習者の行動が完全に把握できない状況でも攻撃戦略を適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 敵対的機械学習攻撃を、一貫した数学的枠組みで統一することは可能か？
• RQ2 力学的ダイナミクス、制御入力、コスト関数という観点から、敵対的攻撃と最適制御問題の構造的類似性は何か？
• RQ3 既存の最適制御および強化学習手法を活用することで、より効果的かつ巧妙な敵対的攻撃を設計できるか？
• RQ4 最適制御の視点により、可制御性の制限をもとに新たな防御戦略をどのように実現できるか？
• RQ5 本フレームワークは、i.i.d.でなく、非定常な敵対的状況、例えばオンライン学習や報酬設計においてどのように拡張可能か？

主な発見

• 本稿は、敵対的機械学習が、敵を制御者とし、学習者のダイナミクスを制御対象とする決定的で離散時間の最適制御問題として形式的に定式化できることを確立した。
• 訓練データ汚染の文脈では、最適制御定式化によりSVMの学習プロセスが1ステップの制御問題としてモデル化され、敵が訓練データを操作して重みベクトル $\mathbf{w}^*$ へモデルを誘導する。
• テスト時攻撃では、敵の制御入力は入力サンプルへの摂動であり、コストは摂動の大きさと誤分類の成功度によって定義される。
• マルチアームバンディットにおける敵対的報酬設計では、敵が報酬信号 $r_{I_t} + u_t$ を制御し、コストは報酬の操作努力とターゲットアームの選択のバランスを反映する。
• システムダイナミクス $f$ が未知の場合でも、強化学習やモデルベース制御を用いることで、適応的攻撃戦略の実現が可能になる。
• 本アプローチにより、可制御性が主要な脆弱性であることが明らかになり、敵がシステム状態に影響を与える能力を制限することで、汎用的な防御メカニズムが得られる可能性がある。