[論文レビュー] Reinforcement Learning with Knowledge Representation and Reasoning: A Brief Survey

Chao Yu, Ye, Shicheng+1 more|arXiv (Cornell University)|Apr 24, 2023

Data Stream Mining Techniques被引用数 6

ひとこと要約

本調査は、強化学習（RL）における知識表現と推論（KRR）の統合を検討し、サンプル効率性、一般化性能、安全性、解釈可能性を向上させることを目的としている。形式的論理を用いて高レベルのドメイン知識（例えば、事実、関係、規則）を表現することで、より抽象的で透明性が高く、一般化可能な学習が可能となり、従来のRLが複雑な現実世界の環境において抱える主な限界を克服する。

ABSTRACT

Reinforcement Learning (RL) has achieved tremendous development in recent years, but still faces significant obstacles in addressing complex real-life problems due to the issues of poor system generalization, low sample efficiency as well as safety and interpretability concerns. The core reason underlying such dilemmas can be attributed to the fact that most of the work has focused on the computational aspect of value functions or policies using a representational model to describe atomic components of rewards, states and actions etc, thus neglecting the rich high-level declarative domain knowledge of facts, relations and rules that can be either provided a priori or acquired through reasoning over time. Recently, there has been a rapidly growing interest in the use of Knowledge Representation and Reasoning (KRR) methods, usually using logical languages, to enable more abstract representation and efficient learning in RL. In this survey, we provide a preliminary overview on these endeavors that leverage the strengths of KRR to help solving various problems in RL, and discuss the challenging open problems and possible directions for future work in this area.

研究の動機と目的

• 複雑な現実世界の問題に応用する際、従来のRLが示すサンプル効率性、一般化性能、解釈可能性の限界を是正すること。
• 形式的知識表現（例えば、論理的規則、事実、関係）がRLに統合されることで学習性能がどのように向上するかを調査すること。
• KRRがRLにおける転移学習、規則ベース推論、説明可能なポリシー学習をどのように可能にするかを探索すること。
• KRR強化RLにおける理論的分析、スケーラビリティ、マルチエージェント応用分野における未解決課題を特定すること。
• KRR-RL統合分野における現在の手法と今後の研究方向性を体系的に概説すること。

提案手法

• 高レベルのドメイン知識（オブジェクト、関係、規則、制約など）を表現するために、形式的論理言語（例えば、一階論理、答え集合プログラミング、時相論理）を用いる。
• 記述論理を用いて、事前知識を報酬関数、状態表現、またはポリシー構造に統合することで、シンボリック知識をRLに組み込む。
• 既知のプリミティブ（例：「コーヒーを届ける」と「書類を届ける」を組み合わせて新しいタスクを生成）を用いたモジュラルかつ構成的推論により、タスクの一般化を実現する。
• ブラックボックスポリシーの代わりに、人間が読めるシンボリックな規則ベースポリシーを採用することで、解釈可能性と安全性を向上させる。
• 自動推論、信念修正、モデルチェックイングなどのKRR技術を活用し、エージェント行動の検証と検証を支援する。
• 関数近似とシンボリック抽象化を組み合わせることで、KRR-RLを高次元環境にスケーリングしつつ、表現力と計算コストのトレードオフを管理する。

実験結果

リサーチクエスチョン

• RQ1 KRR手法は、事前知識を統合することで、強化学習におけるサンプル効率性をどのように向上させるか？
• RQ2 シンボリック知識は、構造が異なったが関連するタスク間で、ポリシーの一般化をどのように向上させるか？
• RQ3 形式的論理の使用は、医療や自動運転など重要な分野におけるRLポリシーの解釈可能性と安全性をどのように向上させるか？
• RQ4 KRR統合RLシステムの収束性とサンプル複雑性を分析する上で、理論的課題は何か？
• RQ5 戦略的相互作用と部分的観測性を伴う複雑なマルチエージェント環境に、KRR-RLをどのようにスケーリングできるか？

主な発見

• KRRをRLに統合することで、特に報酬が疎な環境において、学習に必要な環境との相互作用回数が著しく削減され、サンプル効率性が向上することが明らかになった。
• KRRは、抽象的で再利用可能な知識コンponents（例：既存のタスクモジュールの組み合わせ）を用いた構成的推論を可能にすることで、タスク間での一般化性能の向上を実現している。
• 論理的規則から導出されたシンボリックポリシーは、解釈可能性と信頼性を向上させ、医療や自動運転などの安全が求められる応用分野においてRLをより適した技術としている。
• 現在のKRR-RL手法は、OfficeWorld、Minecraft、ロボット制御などの分野で効果を示しているが、大規模で現実世界の問題へのスケーリングは依然として主な課題のままである。
• KRR-RLシステムの理論的分析はまだ始まったばかりであり、収束性、サンプル複雑性、動的抽象化レベルにおける安定性に関する研究は限定的である。
• 特に、能力モデル化にAlternating-time Temporal Logic（ATL）のような形式的体系を統合する際、戦略的エージェント相互作用を効率的に推論するという、大きな未解決課題が存在する。