[論文レビュー] Deceptive Reinforcement Learning Under Adversarial Manipulations on Cost Signals

Yunhan Huang, Quanyan Zhu|arXiv (Cornell University)|Jun 24, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用数 14

ひとこと要約

本稿は、Q学習を焦点として、コスト信号の敵対的改ざん下での誤った強化学習を分析する理論的枠組みを提示する。境界付きで、すなりの改ざんがなされても収束が保証され、敵対者がコスト信号を操作することで、制限された状態-行動ペアへのアクセスでさえも、エージェントを任意の目的方策に誘導できる条件を導出する。

ABSTRACT

This paper studies reinforcement learning (RL) under malicious falsification on cost signals and introduces a quantitative framework of attack models to understand the vulnerabilities of RL. Focusing on $Q$-learning, we show that $Q$-learning algorithms converge under stealthy attacks and bounded falsifications on cost signals. We characterize the relation between the falsified cost and the $Q$-factors as well as the policy learned by the learning agent which provides fundamental limits for feasible offensive and defensive moves. We propose a robust region in terms of the cost within which the adversary can never achieve the targeted policy. We provide conditions on the falsified cost which can mislead the agent to learn an adversary's favored policy. A numerical case study of water reservoir control is provided to show the potential hazards of RL in learning-based control systems and corroborate the results.

研究の動機と目的

• 強化学習（RL）システムがコスト信号の敵対的改ざんにさらされた際の脆弱性を理解すること。
• 特にQ学習におけるRLのコスト信号に対する敵対的攻撃をモデル化する理論的枠組みを構築すること。
• 敵対者がコスト信号を操作することで、エージェントを望みの目標方策に誘導できる条件を同定すること。
• 敵対者がその目標方策を達成できないコスト信号の強靭領域を特定し、防御戦略の構築を可能にすること。
• サイバーフィジカルシステム（CPS）における実世界の影響を、水貯留所制御の事例研究を用いて示すこと。

提案手法

• 敵対的攻撃の一般的なモデルを提案し、攻撃者の目的、情報構造、コスト信号操作の能力を定義する。
• コスト信号の境界付きで、すなりの改ざんがなされた状況下でのQ学習の収束を分析し、ほとんど確実な収束を証明する。
• 改ざんコストとQ要因の極限との間の暗黙的写像を導出し、Fréchet微分可能性やLipschitz連続性といった性質を確立する。
• 暗黙的写像を用いて、敵対者がその目標方策を達成できないコスト信号の強靭領域を特定する。
• 暗黙的写像と導出された不等式を用いて、エージェントが望みの方策を学習するように誘導する改ざんコストの条件を特定する。
• 理論的発見の妥当性を検証し、CPSにおける不安全なRLの実世界的リスクを提示するために、水貯留所制御の事例研究を実施する。

実験結果

リサーチクエスチョン

• RQ1 コスト信号が敵対的に改ざんされた場合、Q学習はどのような条件下で収束するか？
• RQ2 改ざんされたコスト信号は、Q学習における学習済みQ要因とその結果得られる方策にどのように影響を与えるか？
• RQ3 敵対的影響の根本的限界とは何か、すなわち、どのコスト信号領域で敵対者がその目標方策を達成できないか？
• RQ4 敵対者が状態の一部のペアでのみコストを改ざんできる場合でも、RLエージェントを特定の方策に誘導できるか？
• RQ5 エージェントが敵対者の目的に沿った方策を学習するための、改ざんコストの必要十分条件は何か？

主な発見

• コスト信号の境界付きで、すなりの改ざんがなされた場合、Q学習はほとんど確実に収束する。
• Q要因の極限は改ざんコストに対して暗黙的写像され、この写像は明示的なLipschitz定数を伴い、一様Lipschitz連続である。
• 暗黙的写像のFréchet微分はほとんど至る所で存在し、改ざんコストとは無関係であるため、方策のシフトを解析的に制御可能である。
• 敵対者がその目標方策を達成できないコスト信号の強靭領域が特定された。
• 敵対者がすべての状態-行動ペアでのコストを改ざんできる場合、改ざんコストに関する明示的な不等式を満たすことで、任意の望みの方策を誘導できる。
• 状態の部分集合（例：{1,2}）でのみ改ざんが可能であっても、敵対者は依然として目標方策 $w^{ op}$ を誘導できる。水貯留所の事例研究では、$\tilde{c}$ が $\tilde{Q}^{*}$（$w^{ op}$ に対応するもの）をもたらすように構築された。