[論文レビュー] Real-Time Adversarial Attacks

Yuan Gong, Boyang Li+2 more|arXiv (Cornell University)|May 31, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用数 9

ひとこと要約

本論文は、攻撃者が過去のデータを観測し、将来のデータポイントに対してリアルタイムで摂動を生成する、ストリーミング機械学習モデル向けのリアルタイム敵対的攻撃を導入する。非リアルタイムの敵対的生成器からのデモンストレーションを用いた模倣学習により、平均タイミング誤差0.1135秒の効果的な攻撃性能を達成し、音声コマンドシステムのような動的でリアルタイムなシナリオにおける実現可能性を示している。

ABSTRACT

In recent years, many efforts have demonstrated that modern machine learning algorithms are vulnerable to adversarial attacks, where small, but carefully crafted, perturbations on the input can make them fail. While these attack methods are very effective, they only focus on scenarios where the target model takes static input, i.e., an attacker can observe the entire original sample and then add a perturbation at any point of the sample. These attack approaches are not applicable to situations where the target model takes streaming input, i.e., an attacker is only able to observe past data points and add perturbations to the remaining (unobserved) data points of the input. In this paper, we propose a real-time adversarial attack scheme for machine learning models with streaming inputs.

研究の動機と目的

• 攻撃者が過去のデータしか観測できないが、将来のデータポイントに対して摂動を加えることができるストリーミング入力における敵対的攻撃のギャップを埋めること。
• 部分的観測に基づいて継続的に攻撃戦略を最適化するリアルタイム敵対的摂動生成器を開発すること。
• リアルタイム攻撃シナリオにおける観測と行動空間のトレードオフを克服すること。
• 音声認識や金融取引モデルなど、セキュリティが重要なリアルタイムシステムに対する効果的な攻撃を可能にすること。
• 模倣学習による専門家のデモンストレーションを用いて、リアルタイム敵対的攻撃の実現可能性と有効性を示すこと。

提案手法

• 攻撃者が過去の時系列データを観測し、未観測の将来のポイントに対して摂動を生成するリアルタイム敵対的攻撃方式を提案する。
• 部分的観測に基づいて最適摂動を近似するためのディープ強化学習アーキテクチャを用いる。
• 非リアルタイムで最先端の敵対的攻撃生成器からのデモンストレーションを用いて、模倣学習と行動クラーニングを活用し、リアルタイム生成器を訓練する。
• 摂動を逐次的決定問題としてモデル化し、進化する観測に基づいてリアルタイムで摂動を発行する。
• 遅延を考慮した定式化を導入し、処理および発行遅延を考慮して時刻 $ t+d+1 $ の摂動を生成する。
• 最適化プロセスの微分可能近似を用いて、予測誤差と専門家のデモンストレーションからのタイミングずれを最小化するように生成器を訓練する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者が過去のデータしか観測できず、将来のデータポイントに対して行動をとらなければならない場合、リアルタイム敵対的攻撃を効果的に構築できるか？
• RQ2 部分的観測に基づいて、非リアルタイムの専門家生成器の性能を近似できるリアルタイム摂動生成器をどのように訓練できるか？
• RQ3 観測遅延や不完全なデータは、敵対的摂動発行の正確性とタイミングにどのような影響を及ぼすか？
• RQ4 予測精度と発行タイミングの観点から、リアルタイム生成器の性能は専門家と比べてどの程度か？
• RQ5 より多くのデータが利用可能になるにつれて、リアルタイム生成器は予測を適応的に改善できるか？また、その適応はどの程度安定的か？

主な発見

• リアルタイム敵対的生成器は、平均実際の発行タイミング誤差が0.1135秒であり、予測誤差0.1091秒とほとんど同等であるため、予測誤差が性能ギャップの主因であることが示された。
• 観測が進むにつれて生成器の予測は著しく改善され、特に情報量の多いコンテンツ（例：音声）が存在する場合、信号の半分が観測された後には安定化する。
• 沈黙の期間中は最小限の変更が加えられるため、生成器が情報量の多い信号成分に注目し、それに応じて戦略を適応的に変更していることが示された。
• 発行タイミング誤差の分布はゼロを中心とするベル型曲線に従っており、試行間で一貫性があり信頼性が高いことを示している。
• 提案された敵対的摂動は、聞き取りにくさのない一般的な電子ノイズに似ており、疑いを招きにくく、スパイシー性を高めている。
• リアルタイム生成器と専門家との性能ギャップの主な要因は、専門家の最適化プロセスの非決定的性質および部分入力から全入力への安定したマッピングを学習する難しさに起因している。