[論文レビュー] Neural Logic Reinforcement Learning

Zhengyao Jiang, Shan Luo|arXiv (Cornell University)|Apr 24, 2019

Reinforcement Learning in Robotics参考文献 29被引用数 14

ひとこと要約

この論文は、微分可能誘導的論理プログラミング（DILP）と方策勾配法を組み合わせた、解釈可能で一般化可能な強化学習方策を学習する新しいフレームワーク、Neural Logic Reinforcement Learning（NLRL）を提案する。NLRLは方策を1階論理式として表現し、ブロック操作および崖登りタスクでほぼ最適な性能を達成するとともに、人間が読みやすい論理的構造の意思決定を可能にし、環境の変化に対して強い一般化性能を示す。

ABSTRACT

Deep reinforcement learning (DRL) has achieved significant breakthroughs in various tasks. However, most DRL algorithms suffer a problem of generalizing the learned policy which makes the learning performance largely affected even by minor modifications of the training environment. Except that, the use of deep neural networks makes the learned policies hard to be interpretable. To address these two challenges, we propose a novel algorithm named Neural Logic Reinforcement Learning (NLRL) to represent the policies in reinforcement learning by first-order logic. NLRL is based on policy gradient methods and differentiable inductive logic programming that have demonstrated significant advantages in terms of interpretability and generalisability in supervised tasks. Extensive experiments conducted on cliff-walking and blocks manipulation tasks demonstrate that NLRL can induce interpretable policies achieving near-optimal performance while demonstrating good generalisability to environments of different initial states and problem sizes.

研究の動機と目的

• 深層強化学習（DRL）方策における解釈可能性と一般化の欠如を解決すること。
• 1階論理表現を用いて逐次意思決定タスクにおける方策学習を可能にすること。
• 微分可能誘導的論理プログラミング（DILP）を活用し、スケーラブルで解釈可能なRLにおける方策誘導を実現すること。
• 環境のダイナミクスが事前に分かっていなくても、異なる初期状態や問題サイズにわたる方策の一般化を向上させること。
• DILPを教師ありタスクを超えて強化学習へ応用し、意思決定における非教師あり概念発見を可能にすること。

提案手法

• NLRLは、微分可能誘導的論理プログラミング（DILP）と方策勾配強化学習を統合し、方策を1階論理式として学習する。
• フレームワークは、勾配ベースの学習によりエンドツーエンドで最適化可能な微分可能論理ネットワークを用いて論理式を表現する。
• 方策は、行動意思決定（例：move, up, right）に至るまでの、発明された述語（例：pred1, pred2）の階層構造として構造化される。
• モデルは方策勾配目的関数に基づいて学習され、方策は論理式によってパラメータ化され、DILPモジュールを通じて微分可能である。
• システムは、状態空間内の関係的構造を捉える補助的述語を学習し、抽象的で解釈可能な推論を可能にする。
• 最終的な行動方策は、学習済みのルールに対する前方結合推論により導出され、各ルールには信頼性スコアが付与される。

実験結果

リサーチクエスチョン

• RQ1 1階論理式は、深層強化学習における解釈可能な方策の表現と学習に効果的に用いられるか？
• RQ2 DILPに基づく方策は、RL環境において異なる初期状態や問題サイズに一般化できるか？
• RQ3 DILPと方策勾配法を組み合わせることで、ほぼ最適かつ人間が読みやすい方策が得られるか？
• RQ4 NLRLの解釈可能性と一般化性能は、複雑な逐次タスクにおける標準的なDRLモデルと比べてどのように異なるか？
• RQ5 NLRLは、人間が提供する概念がなくても、有用な関係的抽象概念（例：床に接しているブロック、上位ブロック）を発見できるか？

主な発見

• NLRLは、ブロック操作タスクおよび崖登りタスクの両方でほぼ最適な性能を達成し、解釈可能で論理的構造を持つ方策を学習した。
• STACKタスクでは、move(X,Y) ← pred3(Y), pred4(X,Y) といったルールが誘導された。ここで、pred3は2個以上のブロックからなる列における上位ブロックを特定する。
• 崖登りタスクの誘導された方策には、up() ← current(X,Y), zero(Y) といったルールが含まれ、下段からの上向き移動を正しく同定した。
• 不適切な行動（例：不要な下向き移動）が見られたものの、方策は論理的に整合的で解釈可能であり、信頼性スコアがルールの信頼性を示していた。
• フレームワークは、最適な方策が完全に学習されていなくても、異なる初期位置や問題サイズにわたって性能を維持する強力な一般化性能を示した。
• システムは、事前の人間ラベルなしに、非教師ありルール誘導により抽象的な関係的概念（例：床に接しているブロック、上位ブロック）を効果的に発見した。