[論文レビュー] Towards Neural Theorem Proving at Scale

Pasquale Minervini, Matko Bošnjak+2 more|arXiv (Cornell University)|Jul 21, 2018

Topic Modeling参考文献 19被引用数 16

ひとこと要約

本稿では、全証明経路の全列挙に代えて近似的な最近傍探索（ANNS）を用いることで、スコアの高い候補事実のみを取得するスケーラブルなニューラル定理プローバーNTP 2.0を提案する。この手法により、WordNetのような大規模知識ベース上でのトレーニングと推論が可能となり、複数のベンチマークで最先端の性能を達成するとともに、計算コストを著しく削減する。

ABSTRACT

Neural models combining representation learning and reasoning in an end-to-end trainable manner are receiving increasing interest. However, their use is severely limited by their computational complexity, which renders them unusable on real world datasets. We focus on the Neural Theorem Prover (NTP) model proposed by Rockt{ä}schel and Riedel (2017), a continuous relaxation of the Prolog backward chaining algorithm where unification between terms is replaced by the similarity between their embedding representations. For answering a given query, this model needs to consider all possible proof paths, and then aggregate results - this quickly becomes infeasible even for small Knowledge Bases (KBs). We observe that we can accurately approximate the inference process in this model by considering only proof paths associated with the highest proof scores. This enables inference and learning on previously impracticable KBs.

研究の動機と目的

• 大規模知識ベースにおけるニューラル定理プローバー（NTP）の計算的に非現実的な証明経路の全列挙による制約を解消すること。
• 従来、NTPに不適切とされていた実世界の大規模知識ベースにおけるエンドツーエンドのトレーニングと推論を可能にすること。
• 正確な類似度検索の代わりに、効率的な近似的最近傍探索（ANNS）手法を用いることで、ニューラル記号的推論のスケーラビリティを向上させること。
• 標準ベンチマークおよび大規模なWordNet KB上で提案手法の性能を評価すること。
• ANNSに基づく近似が予測精度を保持しつつ、かつ従来では処理不可能とされたデータセットへのトレーニングを可能にすることを示すこと。

提案手法

• NTPにおける全可能な証明経路の全列挙を、各クエリに対して最も関連性の高い事実上位k件を取得する近的最近傍（ANNS）探索に置き換える。
• ANNSを用いて、埋め込み空間におけるクエリ用語と類似度スコアが最も高い候補事実を効率的に特定し、計算コストを著しく削減する。
• ユニフィケーションを埋め込み類似度計算に置き換えたProlog風の後退チェインの連続的緩和を維持する。
• リンク予測の目的関数を用いてエンドツーエンドでモデルをトレーニングし、真の事実のスコアを最大化し、偽の事実のスコアを最小化する。
• WordNetのような大規模知識ベース（112,581件の事実を含む）にスケーリングするため、トレーニングおよび推論の両方でANNSを適用する。
• 実験ではk=1を用いるが、より高いk値では顕著な改善が得られなかった。ただし、近似のためk=1では正確な最近傍を逃す場合がある。

実験結果

リサーチクエスチョン

• RQ1 近的最近傍探索を用いることで、予測性能を損なわずにニューラル定理プロービングを大規模知識ベースにスケーリングできるか？
• RQ2 ANNSに基づくNTP 2.0は、Kinship、Nations、UMLSといった標準ベンチマークで、元のNTPと比較してどの程度の性能を示すか？
• RQ3 NTP 2.0は、WordNetのような大規模で現実世界の知識ベースにおいて、正常にトレーニングおよび評価可能か？
• RQ4 ANNSでk=1を用いることで、正確な最近傍の取得が求められるデータセットにおいて、モデルの精度にどのような影響を与えるか？
• RQ5 NTP 2.0は、WordNetのような大規模知識ベースから、どのような論理的ルールを誘導できるか？

主な発見

• WordNetではNTP 2.0がテスト精度65.72％を達成しており、ハイパーパramータチューニングや正則化を一切行わないにもかかわらず、Distance Model（68.3％）と同等の性能を示している。
• Countriesデータセットでは、k=1にすることでAUC-PRが56.68％から85.55％に向上し、効率的な近似による顕著な性能向上を示している。
• KinshipではMRRが0.60から0.65に、HITS@1が0.48から0.57に向上し、メトリクス全体にわたり一貫した向上を示している。
• UMLSでは、元のNTPと比較して性能が低下していることから、ANNSが正確な最近傍取得が重要なデータセットでは不適切である可能性がある。
• モデルはWordNetから解釈可能な論理的ルールを効果的に抽出できており、例として'_has_part(X,Y) :- _similar_to(Y,X)'（信頼度0.998）のようなルールを誘導している。
• ANNSの使用により、従来NTPでは対応不可能とされていたWordNet上でのトレーニングが可能となり、スケーラビリティの大きな飛躍を示している。