[論文レビュー] KoGuN: Accelerating Deep Reinforcement Learning via Integrating Human Suboptimal Knowledge

Peng Zhang, Jianye Hao+5 more|arXiv (Cornell University)|Feb 18, 2020

Reinforcement Learning in Robotics参考文献 17被引用数 5

ひとこと要約

KoGuN は、ファジィルールベースの知識コントローラーと学習可能なリファインモジュールを介して人間の非最適な知識を統合することで、学習を加速する画期的な深層強化学習フレームワークである。エンドツーエンドの学習により、サンプル効率が著しく向上し、低品質な人間の事前知識やスパarsely-reward環境でも高速に収束を達成する。

ABSTRACT

Reinforcement learning agents usually learn from scratch, which requires a large number of interactions with the environment. This is quite different from the learning process of human. When faced with a new task, human naturally have the common sense and use the prior knowledge to derive an initial policy and guide the learning process afterwards. Although the prior knowledge may be not fully applicable to the new task, the learning process is significantly sped up since the initial policy ensures a quick-start of learning and intermediate guidance allows to avoid unnecessary exploration. Taking this inspiration, we propose knowledge guided policy network (KoGuN), a novel framework that combines human prior suboptimal knowledge with reinforcement learning. Our framework consists of a fuzzy rule controller to represent human knowledge and a refine module to fine-tune suboptimal prior knowledge. The proposed framework is end-to-end and can be combined with existing policy-based reinforcement learning algorithm. We conduct experiments on both discrete and continuous control tasks. The empirical results show that our approach, which combines human suboptimal knowledge and RL, achieves significant improvement on learning efficiency of flat RL algorithms, even with very low-performance human prior knowledge.

研究の動機と目的

• 人間が提供する非最適な知識（通常は曖昧で不完全）を活用して、深層強化学習を加速すること。
• エキスパートのデモンストレーションを必要とせずに、不確実で高レベルの人間の知識（例：常識）を強化学習に統合する課題に対処すること。
• ファジィ論理による知識表現と、ポリシー改善のためのニューラルリファインモジュールを組み合わせたエンドツーエンドで学習可能なフレームワークを設計すること。
• 報酬信号が希な状況でも、報酬が密集している場合と同様に学習効率を向上させること。
• 人間が提供するインフォームドな事前知識を用いて学習プロセスを「ウォームスタート」し、収束を早め、探索を削減すること。

提案手法

• フレームワークは、ファジィルールコントローラーを用いて人間の非最適な知識を表現し、ルールは状態特徴の言語変数（例：'small'、'positive'、'negative'）に基づいて定義される。
• ハイパーネットワークまたは通常のニューラルネットワークとして実装された学習可能なリファインモジュールが、知識コントローラーからのアクション選好を補正し、タスクに適応する。
• ポリシー基盤の強化学習アルゴリズム（例：PPO）を用いて、知識コントローラーとリファインモジュールの両方を勾配逆伝播が可能な形でエンドツーエンドで訓練する。
• ファジィ論理により、不確実性下でも頑健な推論が可能となり、曖昧で不完全な人間の知識を効果的に処理できる。
• 訓練中に知識コントローラーが最適化されることで、初期の人間の事前知識がタスクの分布に適合して改善される。
• 本手法は、PPO などの既存のポリシー基盤の強化学習アルゴリズムと互換性があり、離散的および連続的制御タスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 人間の非最適な知識でさえ、低品質であっても深層強化学習の学習を著しく加速できるか？
• RQ2 ファジィ論理に基づく知識表現の統合が、強化学習におけるサンプル効率をどのように向上させるか？
• RQ3 学習可能なリファインモジュールは、曖昧な人間の事前知識を効果的に是正し、学習速度を向上させることができるか？
• RQ4 報酬信号が稀な環境（スパースリワード環境）において、KoGuN フレームワークは標準的な強化学習を上回るか？
• RQ5 訓練中に知識コントローラーがどの程度最適化され、タスクに適応できるか？

主な発見

• KoGuN は、人間が作成したルールが粗悪であっても、離散的および連続的制御タスクにおいて標準的な PPO よりも著しく高速に収束を達成する。
• 高いパフォーマンスに到達するための訓練更新回数が削減され、サンプル効率の向上が顕著に示された。
• 報酬の遅延があるスパースリワード環境（例：d=10）においても、KoGuN は効果的な学習を維持するが、標準的な PPO は疎な報酬割り当てのため収束しない。
• アブレーションスタディの結果、ハイパーネットワークをリファインモジュールとして使用した場合、通常のニューラルネットワークよりも優れた性能を示した。これは、複雑で状態依存の修正をモデル化できる能力による。
• 学習可能な知識コントローラーは固定のものよりも優れている。これは、訓練中に初期の人間の事前知識を最適化でき、ポリシーの適応性が向上するためである。
• 純粋な知識コントローラー（リファインなし）のパフォーマンスは低いが、KoGuN は著しくそれを改善しており、リファインモジュールの価値を実証している。