[論文レビュー] Opponent Aware Reinforcement Learning

Víctor Gallego, Roi Naveiro+2 more|arXiv (Cornell University)|Aug 22, 2019

Reinforcement Learning in Robotics参考文献 40被引用数 7

ひとこと要約

本稿は、強化学習の文脈で報酬を操作する敵対的エージェントをモデル化するため、脅かされたマルコフ意思決定過程（TMDPs）を導入する。レベル-$k$の思考フレームワークと、予測に基づくQ学習アルゴリズムを提案し、敵対的環境における性能を向上させ、WoLF-PHCなどの最先端手法を上回る。

ABSTRACT

We introduce Threatened Markov Decision Processes (TMDPs) as an extension of the classical Markov Decision Process framework for Reinforcement Learning (RL). TMDPs allow suporting a decision maker against potential opponents in a RL context. We also propose a level-k thinking scheme resulting in a novel learning approach to deal with TMDPs. After introducing our framework and deriving theoretical results, relevant empirical evidence is given via extensive experiments, showing the benefits of accounting for adversaries in RL while the agent learns

研究の動機と目的

• セキュリティ上の重要な応用分野において、報酬信号を操作する敵対的エージェントに脆弱な強化学習エージェントの課題に取り組む。
• 逐次的意思決定における報酬生成プロセスへの敵対的干渉を形式的にモデル化するフレームワークを構築する。
• 相手の行動を予測するモデル化を通じて、相手の行動を考慮した学習アルゴリズムを設計する。
• マトリックスゲームやグリッドワールドを含む多様な敵対的環境において、本手法の有効性を実証する。
• 非定常的で敵対的なRL設定において、既存の最先端アルゴリズムを上回る、堅牢で汎用性の高い手法を提供する。

提案手法

• 報酬信号に干渉する敵対的エージェントに直面するエージェントをモデル化するため、標準的なMDPの拡張として脅かされたマルコフ意思決定過程（TMDPs）を提案する。
• エージェントが相手の推論の深さをモデル化できるレベル-$k$の思考スキームを導入し、敵対的行動の再帰的予測を可能にする。
• ベイズ更新と忘れ係数を用いて、相手の方策に関する動的信念を維持する予測ベースのQ学習アルゴリズム（FP-Q）を開発する。
• モデル平均化と指数平滑化を用いて、時間の経過とともに相手の戦略の予測を精緻化する。
• 相手の方策に関する不確実性をモデル化するためにベータ事前分布を用い、相互作用の過程でベイズ推論により信念を更新する。
• 相手の意思決定を確率変数として扱い、予測された分布を用いることで、不確実性を意思決定に組み込む敵対的リスク分析（ARA）の原則を統合する。

実験結果

リサーチクエスチョン

• RQ1 逐次的意思決定における報酬信号を操作する敵対的エージェントに対して、強化学習エージェントをどのようにして耐性を持たせられるか。
• RQ2 レベル-$k$の思考による相手の戦略的推論をモデル化することで、敵対的環境における学習性能はどの程度向上するか。
• RQ3 予測ベースのQ学習アプローチは、標準的なQ学習やWoLF-PHCを上回る性能を示せるか。
• RQ4 本手法のフレームワークは、敵対的環境におけるハイパーパrameterの選択や報酬スケーリングに対してどの程度感受性を示すか。
• RQ5 確率的相手モデリングの使用は、非定常環境におけるより安定的かつ高いパフォーマンスのポリシーをもたらすか。

主な発見

• 最適なハイパーパrameterを用いた空間グリッドワールドにおいて、FP-Q学習アルゴリズムは平均報酬$48.53 \pm 6.82$を達成し、ベースライン手法を著しく上回った。
• ハイパーパrameterの変動に対しても耐性を示し、学習率や探索スケジューリングの異なる設定においても、平均報酬が常に$40$以上を維持した。
• 敵対的エージェントの報酬スケーリング（例：$\{-1,1\}$、$\{0,1\}$）の変更に対しても強い性能を維持したため、報酬の大きさに感受性が低く、スケーリング仮定に対しても頑健であることが示された。
• 繰り返し実施されるマトリックスゲーム（IPD、ISH、IC）において、レベル-$k$推論を用いたFP-Q学習者は、独立したQ学習とWoLF-PHCに比べ、優れた収束性と安定性を示した。
• ε-グリーディではなくソフトマックス方策を用いても性能が劣化しなかったため、本フレームワークが方策表現の柔軟性を有していることが確認された。
• AI Safety Gridworldsにおける実験結果から、FP-Qエージェントは空間バージョンにおいて特に、敵対的エージェントがエージェントをブロックまたは誤導できる環境でも、独立したQ学習エージェントを常に上回った。