[論文レビュー] Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning

You Qiaoben, Chengyang Ying+4 more|arXiv (Cornell University)|Jun 30, 2021

Adversarial Robustness in Machine Learning参考文献 33被引用数 5

ひとこと要約

本論文は、深層強化学習における観測値に対する敵対的攻撃のための新しい関数空間再定式化を提案し、まず環境との相互作用を通じてだましのポリシーを訓練し、次に観測値を摂動することで被害者をだます二段階フレームワークを導入する。この手法は、従来の最適化ベースの手法よりも環境のダイナミクスをより効率的に活用する強力で効果的な攻撃を生成することで、AtariおよびMuJoCo環境において最先端の性能を達成する。

ABSTRACT

Deep reinforcement learning models are vulnerable to adversarial attacks that can decrease a victim's cumulative expected reward by manipulating the victim's observations. Despite the efficiency of previous optimization-based methods for generating adversarial noise in supervised learning, such methods might not be able to achieve the lowest cumulative reward since they do not explore the environmental dynamics in general. In this paper, we provide a framework to better understand the existing methods by reformulating the problem of adversarial attacks on reinforcement learning in the function space. Our reformulation generates an optimal adversary in the function space of the targeted attacks, repelling them via a generic two-stage framework. In the first stage, we train a deceptive policy by hacking the environment, and discover a set of trajectories routing to the lowest reward or the worst-case performance. Next, the adversary misleads the victim to imitate the deceptive policy by perturbing the observations. Compared to existing approaches, we theoretically show that our adversary is stronger under an appropriate noise level. Extensive experiments demonstrate our method's superiority in terms of efficiency and effectiveness, achieving the state-of-the-art performance in both Atari and MuJoCo environments.

研究の動機と目的

• 従来の最適化ベースの敵対的攻撃手法が、環境のダイナミクスを十分にモデル化できないため、最悪の性能に到達できないという限界を是正すること。
• マルコフ決定過程（MDP）の全ダイナミクスを活用しながら、観測空間を標的とするより効果的で効率的な敵対的ノイズ生成フレームワークを構築すること。
• 標的攻撃が関数空間で実行される場合、特に攻撃者能力に関する楽観的仮定のもとで、非標的攻撃よりも強力であることを理論的および実験的に示すこと。
• まず最悪の軌道をだましポリシーによって発見し、次に被害者ポリシーをだますために観測値を摂動する汎用的な二段階フレームワークを提供すること。
• 適切なノイズレベルとポリシーの乖離制約のもとで、提案された攻撃者が先行手法よりも強いことを示す理論的基盤を確立すること。

提案手法

• 敵対的攻撃を関数空間で再定式化し、各攻撃タイプが異なる関数空間に対応するようにすることで、より良い理論的分析と比較が可能になる。
• 二段階攻撃フレームワークを導入する：(1) 環境との相互作用を通じて、累積報酬が最小となる軌道を発見するためのだますポリシーを訓練し、(2) 被害者をだますために観測値を摂動する。
• 敵対的攻撃を最適な元状態から敵対的状態への写像として関数空間でモデル化することで、より強力で標的性の高い攻撃が可能になる。
• 期待される総報酬差に起因する性能ギャップの境界を用い、ポリシー間のTVおよびKLダイバージェンスを用いて攻撃の強度を定量化する。
• 期待される行動アドバンテージ、ポリシーの乖離（TVおよびKL）、割引率を含む理論的境界を適用し、攻撃の有効性とロバストネスを保証する。
• 攻撃者が最悪の性能を達成するはずであるという楽観的仮定を活用することで、先行研究の楽観的仮定よりも攻撃効果が向上する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習における観測値に対する敵対的攻撃を、関数空間で体系的に再定式化することで、攻撃の強度と有効性をどのように向上させられるか？
• RQ2 なぜ既存の最適化ベースの手法がDRLにおいて累積報酬の最小値に到達できないのか、そして敵対的攻撃において環境のダイナミクスをどのようにより効果的に活用できるか？
• RQ3 被害者の期待される報酬を最小化するという観点で、提案された攻撃者が既存の攻撃手法よりも強いことを保証する理論的条件は何か？
• RQ4 まずだますポリシーを学習し、次に観測値を摂動する二段階フレームワークは、観測値に対する直接的最適化と比べてどのように攻撃性能を向上させるか？
• RQ5 攻撃者能力に関する楽観的仮定は、先行研究の楽観的仮定と比較して、攻撃効果をどの程度向上させるか？

主な発見

• 提案手法は、AtariおよびMuJoCo環境の両方で最先端の性能を達成し、既存の最適化ベースおよび学習ベースの敵対的攻撃手法よりも攻撃の有効性と効率性において優れている。
• 理論的分析により、適切なノイズレベルのもとで、提案された攻撃者が既存の手法よりも強いことが証明され、ポリシーの乖離と行動アドバンテージに依存する性能ギャップの境界が得られた。
• 二段階フレームワークは、だますポリシーの訓練を通じて最悪の軌道を効果的に特定し、被害者を非最適な行動に誘導するより効果的な観測値の摂動を可能にした。
• 実験的結果から、関数空間における標的攻撃は非標的攻撃よりも著しく強力であることが示され、標的攻撃の関数空間はより大きく、より表現力に富んでいる。
• 特にAtariゲームのような高次元状態空間（状態次元 >6,000）において、敵対的ノイズの生成が極めて効率的であり、先行の学習ベース手法が高コストに陥るのを回避した。
• 理論的境界により、攻撃の性能が攻撃者の最適化能力および被害者ポリシーとだますポリシーとの乖離に密接に関連していることが確認され、本手法のロバストネスとスケーラビリティが裏付けられた。