[论文解读] Learning to Deceive Knowledge Graph Augmented Models via Targeted Perturbation

Mrigank Raman, Hansen Wang+7 more|arXiv (Cornell University)|May 3, 2021

Topic Modeling参考文献 39被引用 7

一句话总结

该论文表明，通过使用强化学习或启发式方法对知识图谱（KG）进行有针对性的扰动，可以欺骗知识图谱增强的神经符号模型，使其在保持下游性能的同时大幅改变KG的语义和结构。其主要贡献在于揭示了这些模型对误导性KG输入的脆弱性，从而削弱了其可靠性和可解释性。

ABSTRACT

Knowledge graphs (KGs) have helped neural-symbolic models improve performance on various knowledge-intensive tasks, like question answering and item recommendation. By using attention over the KG, such models can also explain which KG information was most relevant for making a given prediction. In this paper, we question whether these models are really behaving as we expect. We demonstrate that, through a reinforcement learning policy (or even simple heuristics), one can produce deceptively perturbed KGs which maintain the downstream performance of the original KG while significantly deviating from the original semantics and structure. Our findings raise doubts about KG-augmented models' ability to leverage KG information and provide plausible explanations.

研究动机与目标

• 探究KG增强模型是否真正利用KG信息，还是仅利用表面模式。
• 评估这些模型对语义欺骗性KG扰动的鲁棒性。
• 开发一种生成扰动KG的方法，以在保持模型性能的同时改变其结构和语义。
• 评估这些模型中的注意力机制是否提供忠实的解释，还是容易被误导。
• 挑战注意力机制在KG上反映真实知识利用的假设。

提出的方法

• 训练一个强化学习策略，对知识图谱进行有针对性的扰动，通过修改边或实体来误导模型。
• 该策略在保持模型下游性能的同时，最大化与原始KG结构和语义的偏离。
• 也探索了基于启发式的扰动策略，作为RL的更简单替代方案，以生成欺骗性KG。
• 在推理前对KG应用扰动，并评估模型预测的性能和注意力解释。
• 该方法评估注意力权重对扰动的响应程度，以评估解释的忠实性。
• 该方法使用基于下游任务准确率的奖励信号，确保扰动KG不会降低模型性能。

实验结果

研究问题

• RQ1 能否在显著改变知识图谱语义和结构的同时，通过对其施加有针对性的扰动，保持KG增强模型的下游性能？
• RQ2 KG增强模型中的注意力机制在多大程度上反映真实的知识利用，还是容易被操纵？
• RQ3 强化学习和启发式方法在生成保持模型性能的欺骗性KG方面有多有效？
• RQ4 扰动后的KG是否会引发看似合理但错误的解释，从而破坏模型的可解释性？
• RQ5 模型对语义扭曲的鲁棒性意味着其对KG信息的依赖程度如何？

主要发现

• 所提出的扰动方法在KG结构和语义发生显著变化的情况下，仍能成功保持KG增强模型的下游性能。
• 模型中的注意力机制经常被误导，将高注意力分配给扰动图谱中的无关或损坏的KG事实。
• 即使是简单的启发式扰动也能使模型基于错误或误导性KG信息做出正确预测。
• 模型在扰动KG上表现出高性能，表明其可能并未真正利用KG进行推理，而是依赖于虚假相关性。
• 模型生成的注意力解释通常看似合理但事实错误，引发了对其可解释性的担忧。
• 结果表明，KG增强模型可能并未真正利用知识图谱进行推理，而更可能是利用数据集偏差或结构模式。