[論文レビュー] TensorLog: A Differentiable Deductive Database

William W. Cohen|arXiv (Cornell University)|May 20, 2016

Bayesian Modeling and Causal Inference参考文献 9被引用数 75

ひとこと要約

TensorLog は、論理的理論を要因グラフにコンパイルし、信念伝播を微分可能な関数にアンロールすることで、勾配ベースのパrameter学習が可能な微分可能確率的帰納的データベースを導入する。線形時間のコンパイルと推論を達成し、再帰的タスクでも良好にスケーリングされ、ProbLog2 や ProPPR といった既存のシステムと同等またはそれ以上の性能を示す。

ABSTRACT

Large knowledge bases (KBs) are useful in many tasks, but it is unclear how to integrate this sort of knowledge into "deep" gradient-based learning systems. To address this problem, we describe a probabilistic deductive database, called TensorLog, in which reasoning uses a differentiable process. In TensorLog, each clause in a logical theory is first converted into certain type of factor graph. Then, for each type of query to the factor graph, the message-passing steps required to perform belief propagation (BP) are "unrolled" into a function, which is differentiable. We show that these functions can be composed recursively to perform inference in non-trivial logical theories containing multiple interrelated clauses and predicates. Both compilation and inference in TensorLog are efficient: compilation is linear in theory size and proof depth, and inference is linear in database size and the number of message-passing steps used in BP. We also present experimental results with TensorLog and discuss its relationship to other first-order probabilistic logics.

研究の動機と目的

• 大規模な知識ベースをディープラーニングシステムに統合する課題に対処し、微分可能推論を可能にする。
• 推論が微分可能である確率的帰納的データベース（PrDDB）を設計し、パrameterのエンドツーエンド勾配ベース学習を支援する。
• 理論のサイズ、データベースのサイズ、メッセージ伝達ステップ数と線形にスケーリングする、効率的なコンパイルと推論を達成する。
• 微分可能論理的推論が、ProbLog2 や ProPPR のような複雑な確率的論理モデルを効果的に近似できることを示す。
• 微分可能で合成可能な推論関数を通じて、論理的推論をディープラーニングフレームワークに密に統合する。

提案手法

• 理論内の各論理的規則は、論理的変数が確率的変数に、リテラルが要因にマッピングされる要因グラフにコンパイルされる。
• 信念伝播（BP）のメッセージ伝達ステップが、各クエリタイプごとに微分可能な関数にアンロールされ、勾配計算が可能になる。
• 非自明で相互に依存する論理的理論（複数の述語を含む）を処理するため、微分可能推論関数を再帰的に合成する。
• パrameter（例：事実の信頼度）は、正則化なしの交差エントロピー損失とReLUに類似したクリッピングを用いて勾配降下法で最適化され、非負性が保証される。
• 出力スコアを確率分布に変換するために、ソフトマックス関数が使用される。
• 推論とコンパイルは、理論のサイズ、証明の深さ、データベースのサイズ、BPステップ数に対して線形時間で実行される。

実験結果

リサーチクエスチョン

• RQ1 確率的帰納的データベースにおける論理的推論を完全に微分可能にすることで、勾配ベース学習を可能にできるか？
• RQ2 微分可能推論は、再帰的および深くネストされた論理的クエリにおいてどの程度効率的にスケーリングできるか？
• RQ3 ProbLog2 や ProPPR といった既存システムと比較して、TensorLog は学習精度と推論速度の両面で同等または上回る性能を示せるか？
• RQ4 微分可能論理的推論は、完全な1階確率的論理の意味論をどの程度正確に近似できるか？
• RQ5 微分可能論理的推論は、共同学習を可能にするディープラーニングパイプラインに効果的に統合できるか？

主な発見

• TensorLog は線形時間のコンパイルと推論を達成し、理論のサイズ、データベースのサイズ、メッセージ伝達ステップ数とスケーリングする。
• 16×16グリッドの経路探索タスクにおいて、20エポックの学習で1エポックあたり約3秒でテスト精度96.5％に到達した。
• 6倍のエンティティをクエリした場合でさえ、ProbLog2 よりも複数倍の高速な推論速度を示した。
• 64×64グリッドでは、特に深く再帰的なクエリにおいて、ProbLog2 よりも優れたスケーラビリティと高速な実行時間を示した。
• 引用照合および関係予測タスクにおいて、単一スレッド実装と単純な学習スキームにもかかわらず、ProPPR と同等の精度を達成した。
• 6×6グリッドの可視化において、学習された重みは意味のあるパターンを示しており、エッジの方向性と大きさの違いが、経路の信頼度の学習を反映していた。