[論文レビュー] Faster and Safer Training by Embedding High-Level Knowledge into Deep Reinforcement Learning

Haodi Zhang, Zihang Gao+4 more|arXiv (Cornell University)|Oct 22, 2019

Reinforcement Learning in Robotics参考文献 39被引用数 10

ひとこと要約

本論文は、深層Q学習にハイレベルな記号的ルールを埋め込むことで学習を加速し、安全性を向上させるフレームワークであるルール間仕込み学習（RIL）を提案する。探索中に動的に解釈可能なルールを適用することで、RILは危険な行動を低減し、コールドスタート問題を緩和し、コアとなるDQNアーキテクチャを変更せずに解釈可能性を向上させる。その結果、Flappy Bird や Grid World といった環境において、収束が速く、より安定した学習が実現された。

ABSTRACT

Deep reinforcement learning has been successfully used in many dynamic decision making domains, especially those with very large state spaces. However, it is also well-known that deep reinforcement learning can be very slow and resource intensive. The resulting system is often brittle and difficult to explain. In this paper, we attempt to address some of these problems by proposing a framework of Rule-interposing Learning (RIL) that embeds high level rules into the deep reinforcement learning. With some good rules, this framework not only can accelerate the learning process, but also keep it away from catastrophic explorations, thus making the system relatively stable even during the very early stage of training. Moreover, given the rules are high level and easy to interpret, they can be easily maintained, updated and shared with other similar tasks.

研究の動機と目的

• 初期学習段階（コールドスタート問題）における深層強化学習の長時間にわたる学習時間と不安定性を解消すること。
• 深刻な失敗を避ける必要がある高リスク環境における探索の安全性を向上させること。
• エキスパートのデモンストレーションや手動によるサブタスク分割を必要とせず、人間が理解可能なハイレベルなドメインルールを深層Q学習に統合すること。
• 解釈可能なルールモジュールを用いて、類似したタスク間でのポリシーのメンテナンス、移行、適応を容易にすること。
• 解釈可能性とデータ効率性を向上させる汎用的なフレームワークを提供すること。

提案手法

• 深層Q学習の行動選択プロセスに記号的ルールを統合するルール間仕込み学習（RIL）フレームワークを導入すること。
• ルールを条件-行動ペアとして表現：環境状態（前提条件）が満たされた場合に、確率的選択メカニズムを用いて一連の行動を推奨する。
• 訓練段階やルールの種別（例：ヒューリスティックルール vs. セーフティルール）に応じて、ルール適用確率を動的に調整すること。
• 元のDQNアーキテクチャと訓練パイプラインを維持しつつ、エpsilon-greedy探索中にルールベースの行動提案を統合すること。
• 形式論理（例：一階論理、答え集合プログラミング）を用いてルールを表現し、記号的推論との互換性を確保すること。
• DQNが同等の行動を内省的に学習すると、ルールが陳腐化するようになるため、学習済みポリシーの信頼性を高め、新規ドメインへの移行性を向上させること。

実験結果

リサーチクエスチョン

• RQ1 ハイレベルな記号的ルールは、複雑な環境における深層Q学習の学習プロセスを加速できるか？
• RQ2 セーフティルールは、初期段階の学習中に危険な探索行動（例：崖から落ちる、衝突する）を防止できるか？
• RQ3 ルール統合は、学習済みの深層強化学習ポリシーの解釈可能性とメンテナンス性にどのように影響するか？
• RQ4 DQNの学習能力を損なわせることなく、ルールを探索誘導にどれほど効果的に利用できるか？
• RQ5 ルールの再利用と変更を通じて、類似したタスク間でのトランスファーラーニングをフレームワークが支援できるか？

主な発見

• ヒューリスティックルールの統合により、Flappy Bird、Aircraft Shooting、Breakout、Grid World において学習が顕著に加速し、サンプル複雑性が低減した。
• セーフティルールは、初期学習段階において崖から落ちる、衝突するといった危険な意思決定を効果的に防止した。
• RILフレームワークは、安定したルール誘導ポリシーを提供することでコールドスタート問題を緩和し、初期段階のパフォーマンスを向上させた。
• 訓練が進むにつれて一部のルールが陳腐化したが、これはDQNがルールベースの行動を内省的に学習したことを示しており、学習済みポリシーへの信頼性が向上した。
• 解釈可能なハイレベルなルールの使用により、完全にブラックボックスな深層学習と比較して、ポリシーのメンテナンス、更新、類似環境への移行が容易になった。
• フレームワークは標準DQNと互換性を保ち、アーキテクチャの変更なしにサンプル効率性と安全性を向上させた。