[論文レビュー] Finding and Visualizing Weaknesses of Deep Reinforcement Learning Agents

Christian Rupprecht, Cyril Ibrahim+1 more|arXiv (Cornell University)|Apr 2, 2019

Reinforcement Learning in Robotics参考文献 47被引用数 9

ひとこと要約

本稿では、深層強化学習エージェントの弱みを露わにするために、未確認の臨界状態を生成する生成モデル手法を提案する。環境状態のデータセット上で訓練された変分オートエンコーダーの潜在空間を最適化することで、高リスクまたは高不確実性の行動を引き起こす入力を生成し、訓練を変更せずにエージェントの失敗を可視化できる。本手法はアタリゲームやドライブシミュレータにおいて有効であることが示された。

ABSTRACT

As deep reinforcement learning driven by visual perception becomes more widely used there is a growing need to better understand and probe the learned agents. Understanding the decision making process and its relationship to visual inputs can be very valuable to identify problems in learned behavior. However, this topic has been relatively under-explored in the research community. In this work we present a method for synthesizing visual inputs of interest for a trained agent. Such inputs or states could be situations in which specific actions are necessary. Further, critical states in which a very high or a very low reward can be achieved are often interesting to understand the situational awareness of the system as they can correspond to risky states. To this end, we learn a generative model over the state space of the environment and use its latent space to optimize a target function for the state of interest. In our experiments we show that this method can generate insights for a variety of environments and reinforcement learning methods. We explore results in the standard Atari benchmark games as well as in an autonomous driving simulator. Based on the efficiency with which we have been able to identify behavioural weaknesses with this technique, we believe this general approach could serve as an important tool for AI safety applications.

研究の動機と目的

• 深層強化学習エージェントの意思決定の解釈可能性の欠如、特に危険または臨界状態下での意思決定の理解を改善すること。
• 訓練プロセスを変更せずに、訓練済みエージェントの失敗モードを同定する手法を開発すること。
• エージェントに特定の行動的意味を持つ反応を引き起こす、新たな未確認の環境状態を生成すること。
• 不適切なブレーキングや歩行者を検出できないなど、安全上の懸念があるシナリオにおけるエージェント行動の可視化を可能にすること。
• さまざまな強化学習アルゴリズムと環境に適用可能な汎用ツールを提供することにより、エージェントの耐性と状況認識能力を検証すること。

提案手法

• 事前に訓練済みの強化学習エージェントから収集した状態のデータセットを用いて、変分オートエンコーダー（VAE）を訓練し、環境の分離可能な潜在表現を学習する。
• VAEの潜在空間を制約付き最適化空間として用い、ユーザー定義の目的関数を満たす新しい状態を生成し、無構造的なノイズ最適化を回避する。
• 「T+」（将来の報酬が高くなる状態）や「T-」（将来の報酬が低くなる状態）といった目的関数を定義し、エージェントが高報酬または低報酬を期待する状態をターゲットにする。
• 生成された状態がエージェントのポリシーにとって視覚的に現実的かつ関連性があることを保証するため、エージェントの認識損失を組み込むことで、だましの例を減らす。
• 勾配ベースの最適化手法を用いて潜在空間で目的関数を最大化または最小化するように最適化し、その後、画像空間にデコードする。
• 生成された状態がトレーニングデータと比較してどの程度一般化しているかを検証するため、ピクセル単位のMSEと相対差の閾値（例：チャンネルごとに25%）を用いる。

実験結果

リサーチクエスチョン

• RQ1 訓練済みの強化学習エージェントに対して、高リスクまたは高不確実性の行動を引き起こす、新たな未確認の環境状態を生成できるか？
• RQ2 VAEの潜在空間最適化は、ランダムまたはサリエンシーに基づく手法と比較して、行動的弱みをどの程度効果的に露わにできるか？
• RQ3 本手法は、例えばスマホを見ながら歩行中の歩行者といった、重要な障害物を認識できないようなエージェントの認識バイアスや失敗をどの程度検出できるか？
• RQ4 エージェントが現実的なデータで訓練されていなくても、安全な状況で不要なブレーキングなどの失敗モードを同定できるか？
• RQ5 生成された分布はトレーニングデータを超えてどの程度一般化できるか？ また、トレーニングフレームと顕著に異なるピクセルの割合はどの程度か？

主な発見

• 本手法は、空の道路で不要なブレーキングを引き起こすなど、高リスク行動を誘発する状態を効果的に生成し、自動運転エージェントに知られている失敗モードを明らかにした。
• 「distracted pedestrians」環境では、歩行者がスマートフォンを覗きながら横断している間、エージェントが歩行者を検出しなかった。これは、本手法が深刻な認識ギャップを露わにしたことを確認した。
• 平均して、生成された状態の25%のピクセルが、最も近いトレーニングフレームと25%以上異なることから、トレーニング分布を超えた強力な一般化と新規性が示された。
• 可視化結果から、エージェントは信号機、車両、交差点といった重要な要素を正しく認識していたが、高リスクの状況では歩行者を検出できなかった。
• エージェント認識損失を導入することで、ノイズベースの最適化と比較してだましの例の生成が顕著に減少し、合成された状態の関連性が向上した。
• 本手法は50種類のアタリゲームと複雑なドライブシミュレータにおいて有効であり、さまざまな強化学習環境とアルゴリズムに広く適用可能であることが示された。