[论文解读] SASA: Semantic-Aware Contrastive Learning Framework with Separated Attention for Triple Classification

Xu Xiaodan, Hu Xiaolin|arXiv (Cornell University)|Jan 19, 2026

Domain Adaptation and Few-Shot Learning被引用 0

一句话总结

SASA 引入一个双塔编码，采用分离注意力和语义感知的分层对比学习，以提升知识图谱中的三元组分类，在 FB15k-237 和 YAGO3-10 上实现最先进结果。

ABSTRACT

Knowledge Graphs~(KGs) often suffer from unreliable knowledge, which restricts their utility. Triple Classification~(TC) aims to determine the validity of triples from KGs. Recently, text-based methods learn entity and relation representations from natural language descriptions, significantly improving the generalization capabilities of TC models and setting new benchmarks in performance. However, there are still two critical challenges. First, existing methods often ignore the effective semantic interaction among different KG components. Second, most approaches adopt single binary classification training objective, leading to insufficient semantic representation learning. To address these challenges, we propose extbf{SASA}, a novel framework designed to enhance TC models via separated attention mechanism and semantic-aware contrastive learning~(CL). Specifically, we first propose separated attention mechanism to encode triples into decoupled contextual representations and then fuse them through a more effective interactive way. Then, we introduce semantic-aware hierarchical CL as auxiliary training objective to guide models in improving their discriminative capabilities and achieving sufficient semantic learning, considering both local level and global level CL. Experimental results across two benchmark datasets demonstrate that SASA significantly outperforms state-of-the-art methods. In terms of accuracy, we advance the state-of-the-art by +5.9\% on FB15k-237 and +3.4\% on YAGO3-10.

研究动机与目标

• 通过捕捉 h、r、t 之间的跨分量语义交互来提升三元组分类的动机。
• 提出分离注意力以解耦并融合分量表示，从而获得更丰富的交互。
• 引入语义感知的分层对比学习，以在局部和全局层面增强判别性语义学习。
• 将 TC 目标与对比学习联合训练，以提升语义表示学习。
• 在标准 TC 基准上评估 SASA，展示相对于现有方法的性能提升。

提出的方法

• 使用一个双塔编码器：一塔对 (h,r) 进行编码，另一塔对 t 进行编码；通过 BERT 基编码器获得头-关系嵌入 e_{hr} 与尾部嵌入 e_{t}。
• 应用分离注意力机制，将解耦后的表示对齐并通过跨注意力融合成最终三元组表示 h_{hrt}。
• 使用线性层输出有效性分数的二元交叉熵 TC 目标进行训练。
• 通过在尾部创建 dropout 增强的正样本来进行局部对比学习，以学习鲁棒的细粒度语义（L_local）。
• 通过使用大型嵌入模型（BGE）检索困难负样本并训练使锚点与困难负样本区分的全局对比学习（L_global）。
• 联合优化 L_TC + w1*L_local + w2*L_global，对比损失中设有可学习的温度参数。

实验结果

研究问题

• RQ1 分离注意力是否能改善头-关系与尾部表示之间的交互以提升 TC？
• RQ2 语义感知的分层对比学习（局部与全局）是否提升 KG 的细粒度语义学习？
• RQ3 局部扰动（ dropout）和困难负样本挖掘如何影响 TC 性能？
• RQ4 SASA 相比现有最先进的 TC 方法在 FB15k-237 和 YAGO3-10 上的收益是多少？
• RQ5 一个小模型、基于文本的方法是否足以超越基于嵌入和更大文本模型的 TC？

主要发现

• SASA 实现了最先进的准确度：FB15k-237 为 0.966，YAGO3-10 为 0.966。
• SASA 在 FB15k-237 上较 StAR 提升 5.9 个百分点，在 YAGO3-10 上提升 3.4 个百分点。
• 局部级 CL 与全局级 CL 均对性能提升有贡献；移除分离注意力会劣化结果。
• 消融实验显示局部对比学习带来准确度提升（如在 FB15k-237 上提升 0.35%），全局对比学习通过利用困难负样本带来显著改进。
• 通过 BGE 的全局负采样进一步提升对语义相近尾部的辨别能力。
• 表格级结果显示 SASA 的精确度和召回率提升（FB237: 0.926/0.974; YAGO3-10: 0.927/0.973），F1 分数分别为 0.950 和 0.949。