[論文レビュー] LYRICS: a General Interface Layer to Integrate AI and Deep Learning.

Giuseppe Marra, Francesco Giannini+2 more|arXiv (Cornell University)|Mar 18, 2019

Logic, Reasoning, and Knowledge参考文献 8被引用数 5

ひとこと要約

LYRICS は、一階述語論理（FOL）の背景知識を微分可能で実数値の制約に変換することにより、ディープラーニングと記号的推論を密接に統合するTensorFlowベースのフレームワークです。これにより、論理的制約の下でのエンドツーエンドのニューラルネットワーク訓練が可能になり、生成モデル、論理的推論、モデル検証、教師あり学習において、アーキテクチャの制限なしに統合学習が実現できます。

ABSTRACT

In spite of the amazing results obtained by deep learning in many applications, a real intelligent behavior of an agent acting in a complex environment is likely to require some kind of higher-level symbolic inference. Therefore, there is a clear need for the definition of a general and tight integration between low-level tasks, processing sensorial data that can be effectively elaborated using deep learning techniques, and the logic reasoning that allows humans to take decisions in complex environments. This paper presents LYRICS, a generic interface layer for AI, which is implemented in TersorFlow (TF). LYRICS provides an input language that allows to define arbitrary First Order Logic (FOL) background knowledge. The predicates and functions of the FOL knowledge can be bound to any TF computational graph, and the formulas are converted into a set of real-valued constraints, which participate to the overall optimization problem. This allows to learn the weights of the learners, under the constraints imposed by the prior knowledge. The framework is extremely general as it imposes no restrictions in terms of which models or knowledge can be integrated. In this paper, we show the generality of the approach showing some use cases of the presented language, including generative models, logic reasoning, model checking and supervised learning.

研究の動機と目的

• 複雑な環境における低レベルのディープラーニングと高レベルの記号的推論の間のギャップを埋めること。
• 任意の第一階述語論理（FOL）知識をディープラーニングモデルとシームレスに統合できること。
• 論理的制約がニューラルネットワークの訓練中の最適化プロセスに直接影響を与えること。
• モデルアーキテクチャーや知識表現に制限を課さない汎用インターフェース層を提供すること。

提案手法

• 任意の第一階述語論理（FOL）の背景知識を表現するドメイン固有の入力言語を定義すること。
• FOL の述語や関数をTensorFlowの計算グラフにマッピングし、微分可能に実行可能にすること。
• FOL の論理式を、全体の最適化目的に参加する実数値の制約に変換すること。
• 微分可能論理プログラミングを用いて、バックプロパゲーション中に勾配が論理的制約を通り抜けるようにすること。
• 論理的制約を損失関数の一部として扱うことで、さまざまなAIタスクへの統合を可能にすること。
• ニューラルネットワークの重みが記号的制約の下で最適化されるエンドツーエンドの訓練を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 一般用途のフレームワークにおいて、記号的論理をどのように密接かつ微分可能にディープラーニングモデルと統合できるか？
• RQ2 FOL 制約を、ニューラルネットワークの訓練をガイドする実数値の最適化制約に効果的に変換できるか？
• RQ3 LYRICS は、生成モデル、教師あり学習、論理的推論といった多様なAIタスクを、同一インターフェースでどれほど統合できるか？
• RQ4 記号的知識の統合が、複雑な環境におけるモデルの性能と一般化能力をどれほど向上させるか？
• RQ5 フレームワークのスケーラビリティと柔軟性は、さまざまなモデルアーキテクチャーや知識表現の間でどの程度保たれるか？

主な発見

• LYRICS は、論理式を微分可能な制約に変換することで、第一階述語論理の知識とディープラーニングモデルを成功裏に統合した。
• フレームワークは、アーキテクチャの制限なしに、記号的制約の下でニューラルネットワークの重みが最適化されるエンドツーエンドの訓練を可能にした。
• アプローチは、生成モデル、論理的推論、モデル検証、教師あり学習といった多様なAIワークロードをサポートした。
• FOL を通じた事前知識の統合により、モデルの整合性が向上し、大規模なラベル付きデータセットへの依存が軽減された。
• フレームワークは、複数のAIタスクにわたる一般化性を示し、記号的推論がディープラーニングパイプラインにネイティブに埋め込めることがわかった。
• 微分可能論理の使用により、勾配が論理的制約を通り抜けるようになり、ニューラルおよび記号的コンポONENTの共同最適化が可能になった。