[論文レビュー] TensorLog: Deep Learning Meets Probabilistic DBs

William W. Cohen, Fan Yang+1 more|arXiv (Cornell University)|Jul 17, 2017

Bayesian Modeling and Causal Inference参考文献 22被引用数 31

ひとこと要約

TensorLog は、TensorFlow などの GPU 加速フレームワークで実行可能な微分可能関数に論理クエリをコンパイルすることで、確率的1階論理とディープラーニングを統合する。推論を tractable ptree-SDKG 構造に制限し、動的計画法を用いた信念伝播により、最大 420,000 つの三項集合と 10,000 件の例を含む大規模な知識ベースにおいて、1エポックあたり約 200 秒でスケーラブルで微分可能な推論を実現する。

ABSTRACT

We present an implementation of a probabilistic first-order logic called TensorLog, in which classes of logical queries are compiled into differentiable functions in a neural-network infrastructure such as Tensorflow or Theano. This leads to a close integration of probabilistic logical reasoning with deep-learning infrastructure: in particular, it enables high-performance deep learning frameworks to be used for tuning the parameters of a probabilistic logic. Experimental results show that TensorLog scales to problems involving hundreds of thousands of knowledge-base triples and tens of thousands of examples.

研究の動機と目的

• 確率的1階論理推論とディープラーニングインfra との橋渡しを図り、エンドツーエンドの微分可能訓練を可能にすること。
• 従来のグランドイングベースの推論が大規模な知識ベースでは非現実的になるスケーラビリティのボトルネックを解消すること。
• ソフト述語に対する直接のラベル付けや明示的監視ではなく、勾配ベース最適化を用いたパラメータ学習を確率的演繹データベースで可能にすること。
• 効率的で微分可能な推論を可能にしつつ、十分な表現力を保つ確率的演繹データベースの tractable な部分クラス（ptree-SDKG）を形式化すること。
• 微分可能推論が、TensorFlow や Theano などの現代のディープラーニングプラットフォームで効率的に実行可能であることを示すこと。

提案手法

• 確率的演繹データベースの制限付きクラスである ptree-SDKG を用いて、1階論理クエリを微分可能な計算グラフにコンパイルする。
• 各ランダム変数が証明における論理変数の可能なバインディングに対応する因子グラフ上で、動的計画法による信念伝播を実装する。
• soft predicates（例：indicatesLabel, important）を微分可能なパラメータとして表現し、勾配降下法で重みを最適化する。
• 完全なグランドイングによる指数的爆発を回避するために、ポリツリー構造の依存関係を利用したグランドイングフリーの推論アルゴリズムを採用する。
• 推論を微分可能な関数として表現することで、論理クエリをニューラルネットワークフレームワークに統合し、論理クエリを介したバックプロパゲーションを可能にする。
• 微分可能なソフト制約と確率的推論を適用し、質問-回答ペアから論理規則とそのパラメータを共同で学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 確率的1階論理推論を TensorFlow や Theano などのディープラーニングフレームワークに効率的に統合できるか？
• RQ2 完全なグランドイングを回避することで、大規模な確率的知識ベースに対してスケーラブルで微分可能な推論が可能か？
• RQ3 ソフト述語（例：ラベル関連性を示すもの）のパラメータ学習が、直接的なラベル付けではなく質問-回答の監視から間接的に可能か？
• RQ4 論理構造にどのような制限を加えると、推論が tractable でありつつ、現実世界の推論タスクに十分な表現力を維持できるか？
• RQ5 ptree-SDKG のようなアーキテクチャ制約によって、#P 困難な推論タスクの計算複雑性を軽減できるか？

主な発見

• TensorLog は、最大 420,000 つの三項集合と 10,000 件の学習例を含む知識ベースにスケーリングでき、1つの GPU で 1 エポックあたり約 200 秒で推論を実行する。
• 質問-回答ペアからの間接的監視を用いて、ソフト述語の重みを勾配降下法でエンドツーエンドで微分可能に訓練可能である。
• ptree-SDKG の形式的定式化により、依存関係構造をポリツリーに制限することで、完全なグランドイングの指数的爆発を回避し、推論を tractable に保証する。
• 理論的分析により、標準的な意味論下では一般の確率的論理推論が #P 困難のままであることが示され、ptree-SDKG のような構造的制限の必要性が裏付けられる。
• 実験的結果から、自然言語の質問-回答データから、意味のある論理的パラメータ（例：ラベル関連性を示すもの）を学習可能であることが示された。
• GPU 加速のディープラーニングプラットフォームを活用することで、システムは高性能な学習を実現し、論理的推論を現実世界のデータセットにスケーリング可能にした。