[論文レビュー] SAFRAN: An interpretable, rule-based link prediction method outperforming embedding models

Simon Ott, Christian Meilicke+1 more|arXiv (Cornell University)|Sep 16, 2021

Advanced Graph Neural Networks被引用数 9

ひとこと要約

SAFRANは、標準ベンチマーク上で、既存のルールベース手法および複数の最先端の埋め込みモデルを上回る、解釈可能で新しいルールベースのリンク予測フレームワークを導入する。これは、重複するルールを検出し、クラスタリングした後、それらを集約する非重複ノイズありOR集約法を採用することで達成されており、予測性能を著しく向上させつつ、解釈可能性を維持している。

ABSTRACT

Neural embedding-based machine learning models have shown promise for predicting novel links in knowledge graphs. Unfortunately, their practical utility is diminished by their lack of interpretability. Recently, the fully interpretable, rule-based algorithm AnyBURL yielded highly competitive results on many general-purpose link prediction benchmarks. However, current approaches for aggregating predictions made by multiple rules are affected by redundancies. We improve upon AnyBURL by introducing the SAFRAN rule application framework, which uses a novel aggregation approach called Non-redundant Noisy-OR that detects and clusters redundant rules prior to aggregation. SAFRAN yields new state-of-the-art results for fully interpretable link prediction on the established general-purpose benchmarks FB15K-237, WN18RR and YAGO3-10. Furthermore, it exceeds the results of multiple established embedding-based algorithms on FB15K-237 and WN18RR and narrows the gap between rule-based and embedding-based algorithms on YAGO3-10.

研究の動機と目的

• ニューラル埋め込みベースのリンク予測モデルにおける解釈可能性の欠如に対処すること。
• ルールセット内の関数的重複が原因で生じるルールベース手法の性能制限を克服すること。
• 解釈可能性を損なわず、予測精度を向上させるスケーラブルで効率的なルール適用フレームワークを開発すること。
• AnyBURLに限定されない一般用途の集約手法を提供し、知識グラフ補完における記号的AIの実用的有用性を高めること。
• 標準ベンチマークにおいて、解釈可能なルールベースモデルとブラックボックス埋め込みモデルとの間の性能ギャップを縮小すること。

提案手法

• SAFRANは、AnyBURLが学習したルールを処理する非重複ノイズありOR集約戦略を用いる新しいルール適用フレームワークを導入する。
• この手法は、まず、ルール本体とヘッドの構造的・意味的類似性に基づいて、重複するルールをクラスタリングすることで検出する。
• 重複するルールはクラスタにグループ化され、各クラスタ内で最も信頼性の高いルールのみが保持され、証拠の重複カウントを防ぐ。
• 非重複ノイズありOR集約は、非重複ルールの信頼性スコアを確率的ユニオンモデルを用いて結合することで、耐性性と予測力の両方を向上させる。
• このフレームワークはモジュラー設計となっており、AnyBURLに限定されないあらゆるルールベースシステムに適用可能である。
• 既存のルールマイニングパイプラインを活用するが、知的な重複処理により、それらの下流応用を著しく強化する。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのリンク予測システムは、完全な解釈可能性を維持しながら、最先端の性能を達成できるか？
• RQ2 重複するルールの存在が、記号的リンク予測におけるルール集約の性能にどのように影響を与えるか？
• RQ3 重複するルールを検出し、クラスタリングする新しい集約戦略は、ルールベースのリンク予測における予測精度を向上させられるか？
• RQ4 FB15K-237やWN18RRといった標準ベンチマークにおいて、ルールベースシステムは、埋め込みベースのモデルをどの程度上回れるか？
• RQ5 非重複ノイズありOR集約法は、知識グラフにおけるルール適用のスケーラブルで汎用的な解決策を提供するか？

主な発見

• SAFRANは、FB15K-237、WN18RR、YAGO3-10において、完全に解釈可能なリンク予測手法として、新たな最先端性能を達成した。
• FB15K-237およびWN18RRにおいて、複数の確立された埋め込みベースのモデルを上回り、解釈可能なモデルがブラックボックス手法と同等の性能を発揮できることを示した。
• 非重複ノイズありOR集約法は、ルールの重複による悪影響を効果的に低減し、測定可能な性能向上をもたらした。
• このフレームワークは、特にYAGO3-10において、ルールベースと埋め込みベースのモデルとの間の性能ギャップを著しく縮小し、成功した。
• 予測ごとにアドホックで人間が読みやすい説明を提供し、データおよびルールセット内のクラスタリングパターンを明らかにした。
• このアプローチは汎用的であり、予測の信頼性スコアを出力するあらゆるルールベースシステムに適用可能である。