[论文解读] Interpreting Embedding Models of Knowledge Bases: A Pedagogical Approach
本文提出了两种教学方法——XKE-PRED 和 XKE-TRUE，通过从学习到的嵌入表示中提取加权霍恩规则，以解释黑箱知识库嵌入模型。通过将预测映射到基于子图特征的可解释关系规则，该方法在保持高保真度和准确性的前提下提升了模型的透明度，尤其在使用真实标签进行特征提取时表现更优。
Knowledge bases are employed in a variety of applications from natural language processing to semantic web search; alas, in practice their usefulness is hurt by their incompleteness. Embedding models attain state-of-the-art accuracy in knowledge base completion, but their predictions are notoriously hard to interpret. In this paper, we adapt "pedagogical approaches" (from the literature on neural networks) so as to interpret embedding models by extracting weighted Horn rules from them. We show how pedagogical approaches have to be adapted to take upon the large-scale relational aspects of knowledge bases and show experimentally their strengths and weaknesses.
研究动机与目标
- 解决当前最先进的知识库补全嵌入模型可解释性差的问题。
- 将原本用于神经网络的教学技术适配至具有结构化符号输出的关系知识库中。
- 生成可解释的、加权的霍恩规则，利用子图特征解释嵌入模型的预测结果。
- 评估从嵌入中提取规则时保真度、准确率与可解释性之间的权衡。
- 为未来解释基于嵌入的知识库推理方法奠定基础。
提出的方法
- 通过在嵌入模型预测结果中提取的特征上训练一个可解释模型（逻辑回归），适配教学方法。
- 使用子图特征提取（SFE）生成表示知识图中实体间路径类型的二值特征。
- 从每个实体周围的 k 次随机游走中构建特征矩阵，合并子图以形成每个（头实体，关系，尾实体）三元组的基于路径的特征。
- 应用两种变体：XKE-PRED 使用嵌入模型的预测结果作为监督信号；XKE-TRUE 使用真实标签作为监督信号。
- 从可解释模型中提取加权霍恩规则，其中每条规则对应知识图中的一条路径，并附带相应的置信度分数。
- 采用基于阈值的分类方法判断三元组是否存在，利用学习到的参数生成人类可读的解释。
实验结果
研究问题
- RQ1教学方法能否有效适配以解释关系知识库中的嵌入模型？
- RQ2在解释嵌入模型预测时，XKE-PRED 与 XKE-TRUE 在保真度和准确率方面如何比较？
- RQ3使用模型预测结果与真实标签作为监督信号对规则提取有何影响？
- RQ4所提取的加权霍恩规则在多大程度上能捕捉复杂嵌入表示中的有意义且可解释的模式？
- RQ5特征稀疏性与路径复杂性如何影响所提取规则的可解释性与性能？
主要发现
- 当在真实标签上进行训练时，XKE-TRUE 在 NELL186 上达到了 90.41% 的准确率，部分情况下优于嵌入模型自身的准确率。
- XKE-PRED 在 FB13 上实现了 78.97% 的加权准确率，且在至少提取到一个特征的样本上达到了 71.88% 的准确率。
- XKE-TRUE 平均保真度高于 XKE-PRED，但两者因特征提取稀疏而覆盖范围有限。
- 在定性分析中，XKE-TRUE 提供了语义上有意义的解释（例如，家族宗教联系），而 XKE-PRED 有时生成无意义的规则（例如，将死亡原因与职业关联）。
- 该方法揭示了嵌入模型内部的不一致性，例如在无关概念之间存在虚假相关性。
- 当可解释模型的准确率超过黑箱模型时，XKE-TRUE 在预测与解释方面均更优，表明存在以可解释模型替代嵌入模型的可行路径。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。