[論文レビュー] Robot Representation and Reasoning with Knowledge from Reinforcement Learning

Keting Lu, Shiqi Zhang+2 more|arXiv (Cornell University)|Sep 28, 2018

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文は、論理的確率的知識表現とモデルベース強化学習を統合する新しいKRR-RLフレームワークを提案する。これにより、人間が提供する記述的知識と強化学習で学習された遷移確率を統合することで、ロボットが動的にタスク固有の計画モデルを構築できる。このアプローチは、新しい環境条件下でのナビゲーションおよび配達タスクにおける成功確率を著しく向上させ、ベースライン手法の26.8％に対し83.8％の成功率を達成した。

ABSTRACT

Reinforcement learning (RL) agents aim at learning by interacting with an environment, and are not designed for representing or reasoning with declarative knowledge. Knowledge representation and reasoning (KRR) paradigms are strong in declarative KRR tasks, but are ill-equipped to learn from such experiences. In this work, we integrate logical-probabilistic KRR with model-based RL, enabling agents to simultaneously reason with declarative knowledge and learn from interaction experiences. The knowledge from humans and RL is unified and used for dynamically computing task-specific planning models under potentially new environments. Experiments were conducted using a mobile robot working on dialog, navigation, and delivery tasks. Results show significant improvements, in comparison to existing model-based RL methods.

研究の動機と目的

• 強化学習エージェントが人間専門家から提供される記述的知識を効果的に活用できないという限界に対処すること。
• 従来のKRRシステムが現実世界の相互作用経験から学習できないという問題を克服すること。
• 人間の知識と強化学習で得た世界ダイナミクスを組み合わせ、実行時における効率的でタスク固有の計画モデルを動的に構築できるようにすること。
• 複数の環境設定からの知識統合により、未知または新規の環境条件下でも頑健な推論を可能にすること。
• ナビゲーション、対話、配達を含む実世界のモバイルロボットタスクにおけるフレームワークの有効性を実証すること。

提案手法

• P-log（論理的確率的KRR言語）を用いて、人間が提供するルールと強化学習で学習された遷移確率を共に表現・推論する。
• モデルベース強化学習を用いて、相互作用経験から確率的遷移モデルを学習する。
• 学習された遷移確率をKRRモジュールに統合し、実行時における部分的な世界モデルを動的に生成する。
• 人間の知識と強化学習で得たダイナミクスを組み合わせることで、タスク固有の計画モデルを構築し、効率的な方策計算を可能にする。
• 人間-ロボット対話中に、複数の次元（例：アイテム、人物、場所）における信念状態を維持・更新することで、不確実性下での推論を支援する。
• 複数の学習済み環境設定（例：午前 vs. 正午）からの知識を統合して統一された遷移システムを構築することで、未確認の環境設定への一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 論理的確率的KRRをモデルベース強化学習と効果的に統合することで、人間の知識と学習されたダイナミクスの両方を用いた推論がロボットに可能になるか？
• RQ2 統一された知識ベース（人間知識とRL由来知識）を用いて、実行時にタスク固有の計画モデルを動的に生成できるか？
• RQ3 このフレームワークは、新しいまたは未確認の環境条件下（例：未知の時間帯）にどの程度一般化できるか？
• RQ4 KRRとモデルベース強化学習の統合により、ナビゲーションおよび人間との対話が含まれる実世界のロボットタスクにおける性能が向上するか？
• RQ5 事前知識と確率的推論を活用することで、繰り返し確認などの冗長的・危険な行動を減らせるか？

主な発見

• KRR-RLフレームワークにより、ロボットはモデルベース強化学習で学習された確率的世界ダイナミクスを記述的で論理的確率的形で表現・推論できるようになった。
• 人間の知識と強化学習で得たダイナミクスの統合により、実行時に効率的でタスク固有の計画モデルを動的に構築できるようになった。
• 新環境一般化タスクにおいて、KRR-RLエージェントはナビゲーションタスクで83.8％の成功率を達成したのに対し、ベースラインエージェントは26.8％にとどまり、顕著な優位性を示した。
• ロボットは、学習済みダイナミクスと文脈に基づき、高確率で配達場所が特定できる場合には不要な確認を回避することで、無駄な対話を削減した。
• 人間-ロボット対話中に、複数の次元（アイテム、人物、部屋）における信念状態が正確に更新された。これは、不確実性下でも頑健な推論が可能であることを示している。
• 複数の学習済み環境設定からの知識統合により、ロボットが環境状態（例：時間帯）について不確実であっても、効果的な方策生成が可能になった。