[論文レビュー] Differentiable Logic Machines

Matthieu Zimmer, Xuening Feng+7 more|arXiv (Cornell University)|Feb 23, 2021

Reinforcement Learning in Robotics参考文献 32被引用数 9

ひとこと要約

本稿では、規則の代わりに述語の微分可能緩和を用いることで、解釈可能な一階論理プログラムを学習する、新しいニューラル論理アーキテクチャ「微分可能論理マシン（DLM）」を紹介する。勾配ベースの学習を教師ありおよび強化学習の両設定で可能にし、独自のクライアントと段階的学習といった革新を実現することで、DLMは誘導的論理プログラミングおよび強化学習の分野で最先端の性能を達成するとともに、従来の手法と比較してメモリおよび推論時間の面でより優れたスケーラビリティを示す。

ABSTRACT

The integration of reasoning, learning, and decision-making is key to build more general artificial intelligence systems. As a step in this direction, we propose a novel neural-logic architecture, called differentiable logic machine (DLM), that can solve both inductive logic programming (ILP) and reinforcement learning (RL) problems, where the solution can be interpreted as a first-order logic program. Our proposition includes several innovations. Firstly, our architecture defines a restricted but expressive continuous relaxation of the space of first-order logic programs by assigning weights to predicates instead of rules, in contrast to most previous neural-logic approaches. Secondly, with this differentiable architecture, we propose several (supervised and RL) training procedures, based on gradient descent, which can recover a fully-interpretable solution (i.e., logic formula). Thirdly, to accelerate RL training, we also design a novel critic architecture that enables actor-critic algorithms. Fourthly, to solve hard problems, we propose an incremental training procedure that can learn a logic program progressively. Compared to state-of-the-art (SOTA) differentiable ILP methods, DLM successfully solves all the considered ILP problems with a higher percentage of successful seeds (up to 3.5$ imes$). On RL problems, without requiring an interpretable solution, DLM outperforms other non-interpretable neural-logic RL approaches in terms of rewards (up to 3.9%). When enforcing interpretability, DLM can solve harder RL problems (e.g., Sorting, Path) Moreover, we show that deep logic programs can be learned via incremental supervised training. In addition to this excellent performance, DLM can scale well in terms of memory and computational time, especially during the testing phase where it can deal with much more constants ($>$2$ imes$) than SOTA.

研究の動機と目的

• 推論と学習の分野において、解釈可能性、性能、スケーラビリティのバランスを取るニューラル論理アーキテクチャを設計すること。
• 既存の微分可能なILPおよびRL手法が解釈可能性やスケーラビリティを犠牲にしているという限界を是正すること。
• 教師ありおよび強化学習の両設定において、勾配降下法を用いて完全に解釈可能な論理プログラムをエンドツーエンドで学習できることを実現すること。
• 新しいクライアントアーキテクチャと段階的学習を用いて、複雑なタスクにおける強化学習の学習効率を向上させること。
• 特に定数の数が多い問題においても、推論時に効果的にモデルをスケーリングできること。

提案手法

• 規則の代わりに、述語に学習可能な連続的重みを割り当てることで、一階論理プログラムの空間の連続的緩和を可能にする。
• 温度の減少を伴うGumbel-Softmaxサンプリングを用いて、論理規則を微分可能にサンプリングしつつ、微分可能性を維持する。
• アクタ・クリティック強化学習の学習を加速するためのカスタムクライアントアーキテクチャを採用する。
• 段階的学習手順を導入し、論理プログラムを段階的に学習することで、困難な問題に対するスケーラビリティを向上させる。
• 学習後、argmax推論を適用して連続的重みから完全に解釈可能な論理式を抽出する。
• テスト時に学習済み論理プログラムをコンパクトに表現することで、メモリおよび計算コストを削減する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なニューラル論理モデルは、複雑な推論タスクに一般化することができる完全に解釈可能な論理プログラムを学習できるか？
• RQ2 DLMアーキテクチャは、既存の微分可能なILPおよびRL手法と比較して、成功確率、学習速度、推論効率の面でどのように異なるか？
• RQ3 述語の連続的緩和による解釈可能性の強制が、スケーラビリティおよび性能の向上にどの程度寄与するか？
• RQ4 提案されたクライアントアーキテクチャは、神経的記号モデルにおける強化学習の学習を顕著に加速できるか？
• RQ5 段階的学習は、パスやブロックズワールドのような難しい論理問題を解く能力を向上させるか？

主な発見

• DLMは、ファミリツリーおよびグラフ推論タスクで99.8％の成功率を達成し、95％のシードが解釈可能な規則を正常に学習した。
• 誘導的論理プログラミングの分野では、DLMはSOTAの微分可能なILP手法を上回り、複数のシードで最大3.5倍の高い成功率を達成した。
• 強化学習タスクでは、非解釈可能なニューラル論理ベースラインと比較して最大3.9％高い報酬を達成し、パスやブロックズワールドのようなより難しいタスクも解消した。
• 推論時には、DLMはベースラインよりも優れたスケーリング性能を示し、2倍以上の定数を処理可能であり、顕著に少ないメモリと計算時間を要した。
• アブレーションスタディの結果、Gumbelノイズ、温度の低下、ドロップアウトが、モデルの解釈可能な規則の学習能力を向上させることを確認した。
• 提案されたクライアントアーキテクチャは、アクタ・クリティックRLの学習を加速し、DLMおよびNLMが評価されたすべての環境でより速い収束を示した。