[論文レビュー] Reinforcement Learning with External Knowledge by using Logical Neural Networks

Daiki Kimura, Subhajit Chaudhury+5 more|arXiv (Cornell University)|Mar 3, 2021

Reinforcement Learning in Robotics参考文献 8被引用数 8

ひとこと要約

この論文は、微分可能論理ニューラルネットワーク（LNNs）を介して外部知識を統合する強化学習フレームワークを提案する。論理的制約を学習可能なルールとして符号化することで、行動シャーディング（不正な行動の禁止）と行動ガイダンス（最適な行動の推奨）を可能にし、外部制約なしのモデルフリー強化学習よりも高速に収束する。

ABSTRACT

Conventional deep reinforcement learning methods are sample-inefficient and usually require a large number of training trials before convergence. Since such methods operate on an unconstrained action set, they can lead to useless actions. A recent neuro-symbolic framework called the Logical Neural Networks (LNNs) can simultaneously provide key-properties of both neural networks and symbolic logic. The LNNs functions as an end-to-end differentiable network that minimizes a novel contradiction loss to learn interpretable rules. In this paper, we utilize LNNs to define an inference graph using basic logical operations, such as AND and NOT, for faster convergence in reinforcement learning. Specifically, we propose an integrated method that enables model-free reinforcement learning from external knowledge sources in an LNNs-based logical constrained framework such as action shielding and guide. Our results empirically demonstrate that our method converges faster compared to a model-free reinforcement learning method that doesn't have such logical constraints.

研究の動機と目的

• モデルフリー強化学習におけるサンプル非効率性を、外部の解釈可能な知識を組み込むことで解決すること。
• 論理的ルールによる行動空間の制約によって、訓練試行回数を削減すること。
• 微分可能フレームワークを通じて、論理的推論とディープ強化学習を統合することで、学習速度と安全性を向上させること。
• LNNが強化学習に解釈可能で学習可能な論理的制約を提供する有効性を評価すること。
• LNNベースの強化学習における行動シャーディングと行動ガイダンスのメカニズムの性能向上を比較すること。

提案手法

• 本手法は、論理的論理（AND、NOT、IMPLYなど）を用いた微分可能な論理ルールとして外部知識を表現する論理的ニューラルネットワーク（LNNs）を用いる。
• 行動シャーディングは、強化学習が生成する行動と論理的制約の矛盾を検出することで実装され、例えば既に訪問済みの部屋を再訪問するのを防ぐ。
• 行動ガイダンスは、真偽値に基づくスコア関数を用いて行動確率を計算し、矛盾損失を減衰させる：$ v(a,s_t) = \frac{lower_{a,s_t} + upper_{a,s_t}}{2} - ctrd(a,s_t) $。
• 最終的な行動は、DQNベースのポリシーからのQ値とLNNが提供する行動確率を組み合わせたε-greedy戦略によって選択される。
• LNNは、論理的不整合を最小限に抑えるために矛盾損失を用いてエンドツーエンドで訓練され、解釈可能性を維持する。
• 意味的解析により、自然言語の環境記述（例：「西の部屋を発見した」）から論理的状態命題を抽出する。

実験結果

リサーチクエスチョン

• RQ1 LNNに符号化された外部論理的知識は、モデルフリー強化学習のサンプル効率を向上させることができるか？
• RQ2 論理的制約による行動シャーディングは、収束速度と訓練安定性にどのように影響するか？
• RQ3 LNNが提供する確率を用いた行動ガイダンスは、シャーディングのみと比較して、より速い収束をもたらすか？
• RQ4 LNNルールの解釈可能性は、学習済み制約の検証と修正をどのように支援するか？
• RQ5 LNNベースの論理的制約は、テキストベースのゲームのような複雑で部分的に観測可能な環境において、制約なしの強化学習を上回る性能を示せるか？

主な発見

• LNNs-Shieldingは、既に探索済みの部屋を再訪問するなど無駄な行動を防ぐことで、ベースラインより収束を改善した。
• LNNs-Guideは、ベースラインおよびLNNs-Shieldingよりも顕著に高速に収束した。これは、肯定的な行動推奨のおかげである。
• 報酬曲線から、LNNs-Guideは平均報酬が高く、標準偏差が低いことが示され、より安定した学習が実現した。
• 本手法は、最適なパフォーマンスに到達するための訓練エピソード数を削減できることを示した。
• LNNルールの解釈可能性により、論理的一致性の検証が可能となり、ルール定式化における潜在的誤りの検出と是正が可能になった。
• 結果は、LNNが、より安全で高速かつ効率的な学習を実現するための、記号的推論とディープ強化学習を統合する有効な道筋を提供することを確認した。