[論文レビュー] Learning Safe Policies with Expert Guidance

Jessie Huang, Fa Wu+2 more|arXiv (Cornell University)|May 21, 2018

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、熟練者の示し示しに一致するすべての報酬関数のうち、最も悪い報酬を最適化することで安全な方策を学習する、maxmin強化学習フレームワークを提案する。楕円体に基づく正確な手法と実用的なフォローザ・ペチューブド・リーダー（FPL）アルゴリズムを用いることで、報酬関数の誤指定に対してもロバストであることが保証され、未知の環境や新しい特徴を含む状況においても、熟練者の模倣をしながら有害な状態を避けることができる。

ABSTRACT

We propose a framework for ensuring safe behavior of a reinforcement learning agent when the reward function may be difficult to specify. In order to do this, we rely on the existence of demonstrations from expert policies, and we provide a theoretical framework for the agent to optimize in the space of rewards consistent with its existing knowledge. We propose two methods to solve the resulting optimization: an exact ellipsoid-based method and a method in the spirit of the "follow-the-perturbed-leader" algorithm. Our experiments demonstrate the behavior of our algorithm in both discrete and continuous problems. The trained agent safely avoids states with potential negative effects while imitating the behavior of the expert in the other states.

研究の動機と目的

• 強化学習における報酬関数の誤指定という課題に対処すること。これは、有害な副作用を引き起こす可能性がある。
• 熟練者の示し示しに一致する報酬関数のうち、最も悪い報酬を最適化することで、安全なエージェント行動を保証する手法を開発すること。
• 訓練用のMDPに存在しない特徴を含む環境においても、特徴空間が共有されている限り、ロバストな方策学習を可能にすること。
• 楕円体法を用いた正確な多項式時間解法と、実世界への展開に適した実用的で効率的なFPLベースのアルゴリズムの両方を提供すること。
• 方策の一致ではなく報酬の一貫性に注目することで、意見が食い違う複数の熟練者方策の統合を可能にすること。

提案手法

• 安全な方策学習問題を、熟練者の示し示しに一致するすべての報酬関数のうち最小の報酬を最大化するmaxmin最適化問題として定式化する。
• 一貫性のある報酬を、熟練者の方策が最適に近い性能（最適値からε以内）を達成するものとして定義し、その集合が凸集合であることを示す。
• MDPソルバーを用いて分離オракルを導出し、楕円体法を用いてmaxmin問題を多項式時間で正確に解く。
• O(1/√T)のレジーレットを達成するフォローザ・ペチューブド・リーダー（FPL）アルゴリズムを提案し、T反復の間に最適なmaxmin方策に収束することを保証する。
• MDPソルバーをサブルーチンとして用いて、エージェントの方策空間および対戦相の報酬空間の両方の分離オラクルを設計する。
• FPTASなどの近似MDPソルバーを用いる場合にも適用可能なように、FPLベースの手法を拡張し、性能保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 真の報酬関数が不明または誤指定されている状況でも、強化学習エージェントが安全で高い性能を示す方策を学習できるか？
• RQ2 意見が食い違う複数の、おそらく矛盾する熟練者による示し示しを、どのように統合して安全な方策学習を促進できるか？
• RQ3 訓練時に未観測の特徴を含む新しい環境に、エージェントは一般化できるか？ また、安全性は維持できるか？
• RQ4 maxmin安全方策学習問題を解く計算複雑性は何か？ そして、実用的に行えるようにできるか？
• RQ5 オンライン学習アルゴリズム（例：FPL）は、このmaxmin設定に適応可能であり、効率的かつ近似的に最適な解を得られるか？

主な発見

• 提案された楕円体ベースの手法は、分離と最適化の等価性を活用して、多項式時間でmaxmin安全方策学習問題を正確に解く。
• FPLベースのアルゴリズムはO(1/√T)のレジーレットを達成し、反復回数Tが増えるほど最適なmaxmin方策に収束する速度が向上することが示された。
• グリッドワールド環境では、maxmin方策が熟練者の経験に含まれない危険な状態（例：赤色の地形）を効果的に回避し、安全な領域では熟練者を模倣した。
• 変更されたカートポールタスクでは、1人の熟練者に従うことで有害なブロックを避ける方策を学習したが、複数の熟練者を用いることで安全範囲が拡大し、一部の特徴（例：黄色のブロック）が有害でないことを学習した。
• 本手法は連続制御タスクにも一般化可能であり、近似MDPソルバーを用いても効果的であることが実験で示され、実用的応用の可能性を示した。
• 実験では、maxmin方策が、単一の熟練者を模倣することに特化した標準的なアーチファクト学習を上回る安全性を示した。これは、最悪ケース性能を最優先にしているためである。