[論文レビュー] Incorporating Relational Background Knowledge into Reinforcement Learning via Differentiable Inductive Logic Programming

Ali Payani, Faramarz Fekri|arXiv (Cornell University)|Mar 23, 2020

Reinforcement Learning in Robotics参考文献 17被引用数 9

ひとこと要約

本稿では、関係的背景知識を深層強化学習（RL）に統合することで、勾配最適化によるエンドツーエンド学習が可能な微分可能誘導論理プログラミング（dNL-ILP）フレームワークを提案する。視覚入力から畳み込みニューラルネットワーク（CNN）を用いて得られる一階論理述語として環境を表現することで、学習を加速させ、一般化性能を向上させ、GridWorldでは700エピソードで収束するのに対し、標準的なA2Cでは10⁸エピソード以上を要する。また、Sort-of-CLEVRでは99%の精度を達成した。

ABSTRACT

Relational Reinforcement Learning (RRL) can offers various desirable features. Most importantly, it allows for incorporating expert knowledge into the learning, and hence leading to much faster learning and better generalization compared to the standard deep reinforcement learning. However, most of the existing RRL approaches are either incapable of incorporating expert background knowledge (e.g., in the form of explicit predicate language) or are not able to learn directly from non-relational data such as image. In this paper, we propose a novel deep RRL based on a differentiable Inductive Logic Programming (ILP) that can effectively learn relational information from image and present the state of the environment as first order logic predicates. Additionally, it can take the expert background knowledge and incorporate it into the learning problem using appropriate predicates. The differentiable ILP allows an end to end optimization of the entire framework for learning the policy in RRL. We show the efficacy of this novel RRL framework using environments such as BoxWorld, GridWorld as well as relational reasoning for the Sort-of-CLEVR dataset.

研究の動機と目的

• 従来の関係的強化学習が複雑な視覚入力を処理するのを困難としている点を是正する。
• 深層学習と誘導論理プログラミングを組み合わせることで、関係的強化学習におけるエンドツーエンド微分可能最適化を可能にする。
• 専門家が提供する背景知識（例：isItem、lockedなどの述語）を統合し、方策学習をガイドし、サンプル効率を向上させる。
• 視覚データからの関係的推論が、微分可能な論理エンジンを用いて効果的に学習可能であることを示す。

提案手法

• 微分可能な神経論理ネットワーク（dNL-ILP）を微分可能推論エンジンとして用い、勾配に整合する形で論理的推論を計算する。
• 畳み込みニューラルネットワーク（CNN）で処理された画像から得られる一階論理述語（例：color(X,Y,C), isAgent(X,Y), isItem(X,Y)）を用いて環境状態を表現する。
• 手作業で作成された述語（例：isItem(X,Y) ← ¬isBackground(X,Y), ¬isAgent(X,Y)）を通じて専門家の背景知識を統合し、ドメイン固有の誘導バイアスを表現する。
• 微分可能なILPエンジンを介して勾配を逆伝播可能にするために、ポリシー勾配法（例：A2C）を用いてRRLフレームワークをエンドツーエンドで訓練する。
• 状態表現が関係的で、行動がオブジェクトの位置に基づく環境（例：BoxWorldやGridWorld）にこのフレームワークを適用する。
• isCircle(X,Y)などの述語を学習し、論理的クエリに使用することで、関係的推論タスク（例：Sort-of-CLEVR）にこの手法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 関係的強化学習を深層学習と効果的に組み合わせ、視覚入力の処理と画像からの学習を可能にすることができるか？
• RQ2 論理的述語として提供された専門家の背景知識が、強化学習環境における学習を顕著に加速させるか？
• RQ3 微分可能なILPエンジンにより、標準的な勾配ベース最適化を用いて関係的方策のエンドツーエンド学習が可能になるか？
• RQ4 関係的誘導バイアスを組み込むことで、複雑な環境におけるサンプル効率と一般化性能にどのような影響を与えるか？
• RQ5 非関係的アテンションベースのモデルと比較して、Sort-of-CLEVRのような関係的推論ベンチマークで競争力のある性能を達成できるか？

主な発見

• 提案されたRRLフレームワークは、非分岐的GridWorldタスクで700エピソードで収束したが、標準的なA2Cは10⁸エピソード以上経過しても収束しなかった。
• 行動仮説にisItem(X,Y)述語を含めることで、必要な訓練エピソード数が4分の1に削減され、誘導バイアスがサンプル効率に与える影響が明確に示された。
• Sort-of-CLEVR関係的推論ベンチマークでは99%の精度を達成し、Santoroら（2017）の非局所アテンションベース手法（94%）を上回った。
• 論理的述語による専門家の背景知識の統合により、特に報酬が疎な環境において、より速く安定した学習が実現した。
• 微分可能なILPエンジンにより、論理的推論を介したエンドツーエンドバックプロパゲーションが可能となり、標準的な深層RL最適化手法を用いた方策学習パイプライン全体が訓練可能になった。
• フレームワークは、rawな画像入力を、構造的関係的表現（例：color(X,Y,C), isCircle(X,Y)）に効果的に変換し、視覚的シーンにおける論理的推論を可能にした。