[論文レビュー] Gradient Band-based Adversarial Training for Generalized Attack Immunity of A3C Path Finding

Tong Chen, Wenjia Niu+5 more|arXiv (Cornell University)|Jul 17, 2018

Adversarial Robustness in Machine Learning被引用数 16

ひとこと要約

本論文は強化学習におけるA3Cベースの経路探索に対する、新しい敵対的攻撃および防御フレームワークを提案する。共通の支配的敵対的例生成（CDG）法を導入し、局所的な地図情報に標的を定めた効果的な敵対的例を生成する。また、1つの敵対的例を用いて一般化された'1:N'攻撃への耐性を達成する勾配バンドベースの敵対的訓練を提案し、平均して91.91%の攻撃生成精度および93.89%の耐性精度を達成した。

ABSTRACT

As adversarial attacks pose a serious threat to the security of AI system in practice, such attacks have been extensively studied in the context of computer vision applications. However, few attentions have been paid to the adversarial research on automatic path finding. In this paper, we show dominant adversarial examples are effective when targeting A3C path finding, and design a Common Dominant Adversarial Examples Generation Method (CDG) to generate dominant adversarial examples against any given map. In addition, we propose Gradient Band-based Adversarial Training, which trained with a single randomly choose dominant adversarial example without taking any modification, to realize the "1:N" attack immunity for generalized dominant adversarial examples. Extensive experimental results show that, the lowest generation precision for CDG algorithm is 91.91%, and the lowest immune precision for Gradient Band-based Adversarial Training is 93.89%, which can prove that our method can realize the generalized attack immunity of A3C path finding with a high confidence.

研究の動機と目的

• 自動経路探索における敵対的攻撃研究の不足、特にA3Cのような強化学習システムにおける研究課題に対処すること。
• グローバル入力ではなく局所的な地図情報を標的とする新しいタイプの敵対的例—支配的敵対的例—を設計すること。
• 最小限の敵対的データを用いて、一般化された'1:N'攻撃耐性を達成する防御機構を開発すること。
• 本手法の有効性を多様な地図サイズおよび構成において検証すること。

提案手法

• 共通の支配的敵対的例生成（CDG）法は、エージェントの現在位置周辺の局所的地図情報を摂動させることで、A3C経路探索を誤導する敵対的例を生成する。
• CDGは、経路計画に最大限に影響を与える可能性がある地図内の感受性の高い領域を特定するために勾配バンドを用いる。
• 勾配バンドベースの敵対的訓練は、1つのランダムに選択された支配的敵対的例を用いてエージェントを訓練し、複数の未知の支配的敵対的例に対する一般化された耐性を達成する。
• 主なコンponentsの時間計算量がO(kN²)であるため、効率的な生成および訓練が可能となる多項式時間計算を活用する。
• 勾配バンドおよび摂動空間をモデル化するために、上界および下界関数、障害物関数セットを定義する。
• 防御戦略は、敵対的例やモデルアーキテクチャの変更を一切行わず、訓練時における敵対的データのインジェクションに依存する。

実験結果

リサーチクエスチョン

• RQ1 局所的な地図情報を摂動させることで、支配的敵対的例はA3Cベースの経路探索を効果的に混乱させることができるか？
• RQ2 1つの敵対的例を用いて、多数の未知の支配的敵対的例に対して一般化された耐性を達成できるモデルを訓練できるか？
• RQ3 従来の敵対的訓練手法と比較して、本手法は効率性および頑健性において優れているか？
• RQ4 攻撃および防御の失敗モードは何か？また、それらは地図構造や摂動の配置とどのように関係しているか？

主な発見

• CDGアルゴリズムは、10,000枚のランダムに生成された地図において最小91.91%の生成精度を達成し、効果的な敵対的例の生成において高い信頼性を示した。
• 勾配バンドベースの敵対的訓練は、最小93.89%の耐性精度を達成し、一般化された'1:N'攻撃耐性が有効であることを証明した。
• 従来の敵対的訓練と比較して、時間効率に優れており、顕著に短い訓練時間を実現した。
• 攻撃が失敗した主な原因は、開始点または到着点付近に摂動が追加された場合で、この領域では局所的な地図ダイナミクスが小さな変化に対して感受性が低かった。
• 免疫化に失敗したケースは、勾配バンドに沿った高障害物密度領域に摂動が配置された場合に最も多く観察され、防御の有効性が低下した。
• 本手法は10種類の異なる地図サイズカテゴリにおいても頑健であり、攻撃成功率および耐性精度が一貫して高い水準を維持した。