[論文レビュー] Manipulating Reinforcement Learning: Poisoning Attacks on Cost Signals

Yunhan Huang, Quanyan Zhu|arXiv (Cornell University)|Feb 7, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用数 4

ひとこと要約

本稿は、報酬信号の操作による強化学習におけるスパイアスなポisons攻撃を調査し、TD学習における近似誤差がλパラメータに依存しない定数倍の攻撃強度で有界であることを示している。Q学習に関しては、攻撃が学習された方策を変更できない「ロバスト領域」を同定し、敵対的強化学習環境における攻撃的・防御的戦略の根本的限界を確立している。

ABSTRACT

This chapter studies emerging cyber-attacks on reinforcement learning (RL) and introduces a quantitative approach to analyze the vulnerabilities of RL. Focusing on adversarial manipulation on the cost signals, we analyze the performance degradation of TD($λ$) and $Q$-learning algorithms under the manipulation. For TD($λ$), the approximation learned from the manipulated costs has an approximation error bound proportional to the magnitude of the attack. The effect of the adversarial attacks on the bound does not depend on the choice of $λ$. In $Q$-learning, we show that $Q$-learning algorithms converge under stealthy attacks and bounded falsifications on cost signals. We characterize the relation between the falsified cost and the $Q$-factors as well as the policy learned by the learning agent which provides fundamental limits for feasible offensive and defensive moves. We propose a robust region in terms of the cost within which the adversary can never achieve the targeted policy. We provide conditions on the falsified cost which can mislead the agent to learn an adversary's favored policy. A case study of TD($λ$) learning is provided to corroborate the results.

研究の動機と目的

• 強化学習（RL）アルゴリズムが報酬信号の敵対的操作に対してどれほど脆弱であるかを分析すること。
• スパイアスな報酬信号偽造がもたらすTD学習およびQ学習の性能低下を定量化すること。
• Q学習におけるロバスト領域を特徴づけることで、敵対的攻撃の根本的限界を確立すること。
• TD学習における報酬信号操作が引き起こす近似誤差の理論的境界を提供すること。
• だましのフィードバック攻撃に対して耐性のある強化学習システムの設計に役立つ知見を提供すること。

提案手法

• 敵対的攻撃がマルコフ決定過程の枠組み内で報酬信号を操作する一般化された攻撃モデルを定式化する。
• 改ざんされた報酬下でのTD(λ)学習を分析し、λに依存しない攻撃強度に比例する近似誤差の上限を導出する。
• パラメータ化された価値関数を用いた関数近似を用いて、TD(λ)アルゴリズムをコスト・トゥ・ゴールを推定するために適用する。
• 誤差伝搬に関する理論的境界を検証するために、20状態のマルコフ連鎖問題を用いた事例研究を実施する。
• Q学習における偽装報酬と学習済みQ要因の関係を特徴づけ、攻撃がエージェントを誤導できる条件を同定する。
• 攻撃者が特定の方策を誘導できないコスト空間上のロバスト領域を導出し、攻撃者と防御者双方の戦略的評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 報酬信号の敵対的操作は、TD学習アルゴリズムの収束性および精度にどのように影響するか？
• RQ2 報酬信号が偽造された場合、TD(λ)学習における近似誤差の根本的限界は何か？
• RQ3 攻撃者が報酬信号の操作によってQ学習エージェントを望ましい方策に誘導できる条件は何か？
• RQ4 Q学習における攻撃が学習済み方策を変更できないコスト空間上のロバスト領域のサイズと構造は何か？
• RQ5 TD(λ)におけるλの選択は、報酬信号操作に対する学習アルゴリズムの感受性にどのように影響するか？

主な発見

• 報酬信号操作下でのTD(λ)学習における近似誤差は、攻撃強度の定数倍で有界であり、この境界はλパラメータに依存しない。
• Q学習において、偽装報酬が定義されたロバスト領域内にある限り、攻撃者はその目的を達成できない。この領域は、コストの偏差に関する特定の制約によって特徴づけられる。
• TD(λ)学習における近似誤差の理論的境界は、20状態のマルコフ連鎖を用いた事例研究により検証され、攻撃強度に比例する一貫した誤差増加が確認された。
• 状態i20での単一の報酬信号操作ですら、すべての状態における推定コスト・トゥ・ゴール関数に顕著なずれを引き起こし、誤差伝搬を示している。
• Q学習におけるロバスト領域は戦略的境界を提供する：防御者はシステムの耐性を評価でき、攻撃者は自らの目標の実現可能性を評価できる。
• 結果として、攻撃は性能を低下させうるが、特にQ学習では安全なコスト領域が存在するため、その効果には根本的な限界があることが示された。