[論文レビュー] Generalizing from a few environments in safety-critical reinforcement learning

Zachary Kenton, Angelos Filos+2 more|arXiv (Cornell University)|Jul 2, 2019

Reinforcement Learning in Robotics参考文献 34被引用数 9

ひとこと要約

この論文は、少数の訓練環境での深層強化学習における安全一般化を調査し、災害を低減するためのアンサンブル手法と不確実性推定を提案する。グリッドワールドでは、アンサンブル平均化といった単純な修正により失敗が減少するが、より複雑なCoinRun環境ではそれほど効果的ではない。しかし、アンサンブル価値関数からの不確実性は、予期しない災害を信頼性高く予測でき、事前の人間の介入を可能にする。

ABSTRACT

Before deploying autonomous agents in the real world, we need to be confident they will perform safely in novel situations. Ideally, we would expose agents to a very wide range of situations during training, allowing them to learn about every possible danger, but this is often impractical. This paper investigates safety and generalization from a limited number of training environments in deep reinforcement learning (RL). We find RL algorithms can fail dangerously on unseen test environments even when performing perfectly on training environments. Firstly, in a gridworld setting, we show that catastrophes can be significantly reduced with simple modifications, including ensemble model averaging and the use of a blocking classifier. In the more challenging CoinRun environment we find similar methods do not significantly reduce catastrophes. However, we do find that the uncertainty information from the ensemble is useful for predicting whether a catastrophe will occur within a few steps and hence whether human intervention should be requested.

研究の動機と目的

• 少数の環境で訓練された強化学習エージェントが、未訓練の環境において安全性の性能をどの程度一般化できるかを評価すること。
• モデルアンサンブルと不確実性推定が、実用化段階での危険な失敗を著しく低減できるかを調査すること。
• アンサンブルエージェントからの予測不確実性が、CoinRunのような複雑な環境における将来の災害を事前に予測するのに有効であるかを特定すること。
• 落下などの中間段階での危険性（時間的に延長された危険性）が、一般化性能や予測性能に与える影響を比較すること。

提案手法

• グリッドワールドおよびCoinRun環境の初期状態の分布でDQNおよびPPOエージェントを訓練し、教師あり学習に類似した訓練/テスト分割を実施した。
• 一般化の向上と価値関数における予測不確実性の推定のため、モデルアンサンブルとドロップアウトを適用した。
• アンサンブル価値関数の平均と標準偏差を組み合わせた識別関数を用い、時間ウィンドウ内に災害が発生するかを予測した。
• 1000のテスト環境を用い、さまざまな時間ウィンドウと訓練レベルで、受信操作特性曲線（ROC）とAUCスコアを用いて予測性能を評価した。
• 二値分類の設定を採用し、エージェントがdtステップ以内に災害が発生するかを予測し、不確実性を人間の介入を要請する信号として使用した。
• さまざまな訓練レジームサイズにおいて、アンサンブル手法、単一エージェント、およびランダムベースラインとのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 少数の環境での訓練のみで、深層強化学習エージェントが未訓練の環境で危険な行動を回避できるか？
• RQ2 アンサンブル手法と不確実性推定は、安全が重要な強化学習において、災害的失敗を著しく低減できるか？
• RQ3 価値関数アンサンブルからの予測不確実性は、CoinRunのような複雑な環境で将来の災害を事前に予測するのに有効か？
• RQ4 落下のような中間段階での危険性（時間的に延長された危険性）は、一般化性能や予測性能にどのように影響するか？
• RQ5 不確実性に基づく信号は、災害発生前に信頼性高く人間の介入を引き起こせるか？

主な発見

• グリッドワールドでは、アンサンブルモデル平均化とブロッキング分類器が、10つの訓練環境でのみでも災害を顕著に低減した。
• CoinRunでは、標準的なアンサンブル平均化が、単一のPPOエージェントと比較して災害の低減や成功率の向上において顕著な優位性を示さなかった。
• アンサンブル価値関数の不確実性（標準偏差）は、将来の災害を予測するのに有効であり、10つの訓練レベルでdt=1の短い予測ウィンドウではAUCスコアが0.8以上であった。
• 時間ウィンドウが拡大（dt=10）するか、より多くの訓練レベルが使用されると、予測性能が低下し、長時間スパンの危険性一般化に課題があることが示された。
• アンサンブルベースの不確実性信号はランダム予測を上回り、予期しない失敗の早期警告を効果的に可能にした。
• 結果から、不確実性推定は現実の強化学習実装における予防的セーフティ制御の有効なメカニズムであると考えられる。