[論文レビュー] End-to-End Differentiable Proving

Tim Rocktäschel, Sebastian Riedel|arXiv (Cornell University)|May 31, 2017

Topic Modeling被引用数 72

ひとこと要約

この論文は、知識ベースにおけるエンドツーエンド学習を可能にする微分可能ニューラルネットワークアーキテクチャであるニューラル定理プローバー（NTP）を紹介する。NTPは、記号的後向きチェーン推論と、サブシンボリックなベクトル表現を組み合わせるもので、記号的統一をベクトル埋め込みにおける微分可能な径数基底関数カーネルに置き換えることで、事実の推論、解釈可能な一階論理規則の誘導、および4つのベンチマーク知識ベースのうち3つでComplExを上回る性能を発揮する。また、マルチホップ推論と勾配ベースの学習を可能にする。

ABSTRACT

We introduce neural networks for end-to-end differentiable proving of queries to knowledge bases by operating on dense vector representations of symbols. These neural networks are constructed recursively by taking inspiration from the backward chaining algorithm as used in Prolog. Specifically, we replace symbolic unification with a differentiable computation on vector representations of symbols using a radial basis function kernel, thereby combining symbolic reasoning with learning subsymbolic vector representations. By using gradient descent, the resulting neural network can be trained to infer facts from a given incomplete knowledge base. It learns to (i) place representations of similar symbols in close proximity in a vector space, (ii) make use of such similarities to prove queries, (iii) induce logical rules, and (iv) use provided and induced logical rules for multi-hop reasoning. We demonstrate that this architecture outperforms ComplEx, a state-of-the-art neural link prediction model, on three out of four benchmark knowledge bases while at the same time inducing interpretable function-free first-order logic rules.

研究の動機と目的

• エンドツーエンド微分可能証明を知識ベースで可能にすることで、記号的推論とサブシンボリックな学習を統合すること。
• 複雑なマルチホップ推論パターンを処理できない神経リンク予測モデルの限界を克服すること。
• 記号的定理プローバーの解釈可能性と、分散ベクトル表現の一般化能力を組み合わせること。
• 勾配降下法を用いて、記号のベクトル表現と関数なしの一階論理規則の両方を学習すること。
• ドメイン固有の規則や規則テンプレートを微分可能推論フレームワークに統合することを可能にすること。

提案手法

• NTPは、Prologの後向きチェーンアルゴリズムをブループrintとして用い、記号的統一をベクトル表現上の微分可能演算に置き換えることで再帰的に構築される。
• 径数基底関数カーネルが、記号のベクトル埋め込み間の類似度を計算し、微分可能な統一を可能にする。
• 証明成功スコアは、記号埋め込みと規則パラメータに関して微分可能であり、勾配降下法によるエンドツーエンド学習が可能になる。
• 神経リンク予測モデル（ComplEx）を補助損失として用いた共同学習により、表現品質と性能が向上する。
• 学習プロセスのスケーリングのために、バッチ証明と近似勾配計算が用いられる。
• 学習済みパラメータから規則を復号し、解釈可能性と論理的一致性について検証する。

実験結果

リサーチクエスチョン

• RQ1 ベクトル表現上の微分可能演算のみを用いて、知識ベースにおけるマルチホップ推論を実行できるニューラルネットワークを学習できるか？
• RQ2 このようなモデルは、不完全な知識ベースから解釈可能で関数なしの一階論理規則を誘導できるか？
• RQ3 エンドツーエンド微分可能証明は、ComplExのような最先端の神経リンク予測モデルと比較して、推論性能においてどのように異なるか？
• RQ4 神経リンク予測からの補助損失は、微分可能プローバーにおけるサブシンボリック表現の品質を向上させられるか？
• RQ5 学習された規則は、意味的に類似した記号に一般化できる程度はどの程度か？また、推論における転移学習を支援できるか？

主な発見

• NTPは、4つのベンチマーク知識ベースのうち3つ（Countries S3、Nations、UMLS）でComplExを上回り、Kinshipでは同等またはより良い性能を達成した。
• ComplExを補助損失として共同学習するNTPλバージョンは、最高の性能を発揮し、すべてのCountriesタスクでAUC-PRが統計的に有意に向上した（p < 0.0001）。
• モデルは解釈可能で人間が読める一階論理規則を効果的に誘導した。例えば、UMLSでは推移性規則、Countriesではタスク固有の規則が得られた。
• 誘導された規則は一般化を示した：1つの規則が、意味的に類似した記号を含む複数のクエリに適用可能であった。
• 微分可能な統一機構により、記号埋め込みと論理的規則パラメータの両方の勾配最適化が可能になった。
• 規則の再帰的適用による証明の合成により、マルチホップ推論が可能となり、証明パスは明示的に追跡可能で解釈可能であった。