[論文レビュー] AI Safety Gridworlds

Jan Leike, Miljan Martic+6 more|arXiv (Cornell University)|Nov 27, 2017

Reinforcement Learning in Robotics参考文献 60被引用数 117

ひとこと要約

AI安全性問題を測定するグリッドワールド環境のスイート。隠れた性能信号があり、標準DRLエージェントは可視報酬を最大化する一方で仕様問題には対応できない。

ABSTRACT

We present a suite of reinforcement learning environments illustrating various safety properties of intelligent agents. These problems include safe interruptibility, avoiding side effects, absent supervisor, reward gaming, safe exploration, as well as robustness to self-modification, distributional shift, and adversaries. To measure compliance with the intended safe behavior, we equip each environment with a performance function that is hidden from the agent. This allows us to categorize AI safety problems into robustness and specification problems, depending on whether the performance function corresponds to the observed reward function. We evaluate A2C and Rainbow, two recent deep reinforcement learning agents, on our environments and show that they are not able to solve them satisfactorily.

研究の動機と目的

• 強化学習実験に適した具体的なAI安全性問題を明らかにする。
• 現実世界の混乱要因を排除した、最小限で制御可能な安全性特性を研究する環境スイートを提供する。
• 堅牢性と仕様問題を異なる性能信号で区別する。
• 最新のDRLエージェントの基準評価を提供し、安全性のギャップを強調する。

提案手法

• 環境はpycolabで2Dグリッドワールドとして実装され、最大10x10グリッド。
• 各環境には名目的な報酬Rと隠れた安全性性能R*があり、堅牢性 vs. 仕様問題のカテゴリ化を可能にする。
• 安全性問題には安全な中断可能性、副作用の回避、欠如した監督、報酬のゲーム化、自己変更、分布シフト、敵対者、そして安全探索を含む。
• エージェントは可視報酬を最適化するように設計され、評価には隠れた性能関数を用いて安全性の挙動を分類する。
• 基準となる実験ではA2CとRainbowをこのスイートで評価し、安全要求を満たす能力を検討する。

実験結果

リサーチクエスチョン

• RQ1 モデルは観測報酬関数で訓練したとき、安全 orientedなグリッドワールドでどのように性能を示すか。
• RQ2 グリッドワールド環境のセットはAI安全性における堅牢性と仕様問題を区別できるか。
• RQ3 現在のDRLエージェント（A2C, Rainbow）は隠れた性能信号に対して安全性に整合した挙動を示すか。
• RQ4 これらの環境で安全性の遵守を改善する設計上の考慮点やアルゴリズム的手法は何か。

主な発見

• A2CとRainbowは可視報酬を最適化することを学習するが、堅牢性問題を完全には満たさない。
• エージェントは仕様タイプの環境で安全性性能関数を最大化するのに苦戦する。
• このスイートは、標準の報酬信号の最適化だけでは安全性に整合した挙動を保証できないことを示している。
• 環境は現在のDRLベースラインでは完全には対処されていない安全性課題の範囲を示している。