[论文解读] SAFRAN: An interpretable, rule-based link prediction method outperforming embedding models

Simon Ott, Christian Meilicke+1 more|arXiv (Cornell University)|Sep 16, 2021

Advanced Graph Neural Networks被引用 9

一句话总结

SAFRAN 提出了一种新颖的、可解释的、基于规则的链接预测框架，其在标准基准测试中优于现有的基于规则的方法以及多种最先进嵌入模型。该方法通过采用一种非冗余噪声或（Non-redundant Noisy-OR）聚合方法，在聚合前检测并聚类冗余规则，显著提升了预测性能，同时保持了可解释性。

ABSTRACT

Neural embedding-based machine learning models have shown promise for predicting novel links in knowledge graphs. Unfortunately, their practical utility is diminished by their lack of interpretability. Recently, the fully interpretable, rule-based algorithm AnyBURL yielded highly competitive results on many general-purpose link prediction benchmarks. However, current approaches for aggregating predictions made by multiple rules are affected by redundancies. We improve upon AnyBURL by introducing the SAFRAN rule application framework, which uses a novel aggregation approach called Non-redundant Noisy-OR that detects and clusters redundant rules prior to aggregation. SAFRAN yields new state-of-the-art results for fully interpretable link prediction on the established general-purpose benchmarks FB15K-237, WN18RR and YAGO3-10. Furthermore, it exceeds the results of multiple established embedding-based algorithms on FB15K-237 and WN18RR and narrows the gap between rule-based and embedding-based algorithms on YAGO3-10.

研究动机与目标

• 解决基于神经嵌入的链接预测模型缺乏可解释性的问题。
• 克服由于规则集合中功能冗余导致的基于规则方法性能受限的问题。
• 开发一种可扩展且高效的规则应用框架，在不牺牲可解释性的情况下提升预测准确性。
• 提供一种通用的聚合方法，可超越 AnyBURL 应用，提升符号人工智能在知识图谱补全中的实际应用价值。
• 缩小可解释的基于规则模型与黑箱嵌入模型在标准基准测试中的性能差距。

提出的方法

• SAFRAN 引入了一种新的规则应用框架，通过非冗余噪声或聚合策略处理 AnyBURL 学习到的规则。
• 该方法首先通过基于规则体和规则头在结构和语义上的相似性，对规则进行聚类，以检测冗余规则。
• 将冗余规则分组为簇，在每个簇内仅保留置信度最高的规则，以防止证据的重复计算。
• 非冗余噪声或聚合通过使用概率并集模型组合非冗余规则的置信度分数，提升了鲁棒性和预测能力。
• 该框架设计为模块化，可应用于任何基于规则的系统，不限于 AnyBURL。
• 它利用现有的规则挖掘流水线，但通过智能的冗余处理方式显著增强了其下游应用效果。

实验结果

研究问题

• RQ1 基于规则的链接预测系统是否能在保持完全可解释性的同时实现最先进性能？
• RQ2 冗余规则的存在如何影响符号链接预测中规则聚合的性能？
• RQ3 一种能检测并聚类冗余规则的新聚合策略，是否能提升基于规则的链接预测的预测准确性？
• RQ4 基于规则的系统在 FB15K-237 和 WN18RR 等标准基准测试中，能在多大程度上超越基于嵌入的模型？
• RQ5 非冗余噪声或聚合方法是否为知识图谱中规则应用提供了一种可扩展且通用的解决方案？

主要发现

• SAFRAN 在 FB15K-237、WN18RR 和 YAGO3-10 上实现了完全可解释的链接预测方法的新最先进性能。
• 它在 FB15K-237 和 WN18RR 上超越了多个成熟的基于嵌入的模型，表明可解释模型可以与黑箱方法相媲美。
• 非冗余噪声或聚合方法有效减轻了规则冗余的负面影响，带来了可测量的性能提升。
• 该框架成功缩小了基于规则与基于嵌入模型之间的性能差距，尤其在 YAGO3-10 上，显著缩小了差距。
• 该方法为每个预测提供了即兴的、人类可读的解释，揭示了数据和规则集中的聚类模式。
• 该方法具有通用性，可应用于任何生成规则预测置信度分数的基于规则系统。