[論文レビュー] Neural Query Language: A Knowledge Base Query Language for Tensorflow

William W. Cohen, M.A. Siegler+1 more|arXiv (Cornell University)|May 15, 2019

Neural Networks and Applications参考文献 7被引用数 5

ひとこと要約

Neural Query Language (NQL) は、知識ベース (KB) 操作を微分可能テンソル演算として表現することにより、ニューラルネットワークへの知識ベースのシームレスな統合を可能にする微分可能で TensorFlow に依存するクエリ言語である。NQL は、エンティティリンク、関係抽出、クエリテンプレート学習を含む、ソフトな記号的 KB に対して推論を行うモデルのエンドツーエンド学習を可能にし、1台の GPU で数百万件の KB ツプルをサポートする。

ABSTRACT

Large knowledge bases (KBs) are useful for many AI tasks, but are difficult to integrate into modern gradient-based learning systems. Here we describe a framework for accessing soft symbolic database using only differentiable operators. For example, this framework makes it easy to conveniently write neural models that adjust confidences associated with facts in a soft KB; incorporate prior knowledge in the form of hand-coded KB access rules; or learn to instantiate query templates using information extracted from text. NQL can work well with KBs with millions of tuples and hundreds of thousands of entities on a single GPU.

研究の動機と目的

• 勾配ベースの学習システムが微分可能演算を用いて直接ソフトな記号的知識ベースをクエリおよび更新できるようにすること。
• エンティティリンク、関係抽出、および KB 上でのクエリ推論を実行するニューラルモデルのエンドツーエンド学習をサポートすること。
• TensorFlow における微分可能テンソル計算として複雑な KB クエリを記述できる高水準で読みやすいインターフェースを提供すること。
• ニューラルモデルがクエリテンプレートや KB アクセスルールを学習できるようにし、帰納的論理プログラミングに類似した推論を可能にすること。
• 従来の KB クエリ言語（例：SQL、SPARQL）の制限を克服し、微分可能で学習可能なクエリ実行を可能にすること。

提案手法

• NQL はエンティティと関係をベクトルおよび行列として表現し、関係を TensorFlow におけるスパース重み行列としてエンコードする。
• 関係適用（s.rel()）、行列積、ハダマード積、ベクトル加算などの微分可能演算をサポートする。
• s.follow(r) 演算により、関係の連結を微分可能に可能にし、マルチホップ推論パスの学習を可能にする。
• 変数バインディングを関係にサポートし、動的なクエリ構築とニューラルモデルへの統合を可能にする。
• クエリは型チェックとシンボリックエンティティ名の解決に使用されるバックポインタを備えた TensorFlow 計算グラフにコンパイルされる。
• 再帰モデルを用いた関係チェーンの学習をサポートし、学習時に観測された深さよりも長い推論パスへの一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 知識ベース上で微分可能演算をサポートするクエリ言語を設計することは可能か？ これにより、ニューラルモデルのエンドツーエンド学習が可能になるか？
• RQ2 表現力やスケーラビリティを損なわずに、ソフトな記号的 KB を勾配ベースの学習システムに統合するにはどうすればよいか？
• RQ3 NQL はマルチホップ推論パスの学習を可能にし、未観測の推論深さへの一般化を達成できるか？
• RQ4 NQL は、微分可能構成を用いて、ジョインなどの従来の KB 操作をどの程度エミュレートできるか？
• RQ5 NQL は、1台の GPU で数百万件の KB ツプルおよび数十万のエンティティを有する大規模 KB にどの程度スケーリングできるか？

主な発見

• NQL は、TensorFlow のみからなる微分可能演算子を用いて、ソフトな記号的知識ベース上で推論を行うニューラルモデルのエンドツーエンド微分可能学習を可能にする。
• 再帰モデルを用いたマルチホップクエリテンプレートの学習をサポートし、学習時に観測された深さよりも長い推論パスへの一般化を実現する。
• NQL は、数百万件のツプルおよび数十万のエンティティを有する KB に効率的にスケーリングでき、1台の GPU でも効果的に動作する。
• NQL は、エンティティリンクや関係抽出モデルなどのニューラルコンponent を直接 KB クエリパイプラインに統合でき、システム全体に勾配がバックプロパゲートされる。
• NQL は、SQL のようなタプルのネイティブな返却はできないが、インデックス化されたエンティティタイプと微分可能な関係合成を用いて、同様の操作をエミュレートできる。
• NQL の実装は軽量であり、直接 TensorFlow 計算グラフにコンパイル可能で、型安全性とスパース行列演算のサポートを備えている。