[논문 리뷰] SASA: Semantic-Aware Contrastive Learning Framework with Separated Attention for Triple Classification

Xu Xiaodan, Hu Xiaolin|arXiv (Cornell University)|2026. 01. 19.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

SASA는 separated attention 및 의미 인식적 계층적 대비 학습으로 듀얼-타워 인코더를 도입해 지식그래프의 트리플 분류 성능을 향상시키고 FB15k-237 및 YAGO3-10에서 최첨단 결과를 달성한다.

ABSTRACT

Knowledge Graphs~(KGs) often suffer from unreliable knowledge, which restricts their utility. Triple Classification~(TC) aims to determine the validity of triples from KGs. Recently, text-based methods learn entity and relation representations from natural language descriptions, significantly improving the generalization capabilities of TC models and setting new benchmarks in performance. However, there are still two critical challenges. First, existing methods often ignore the effective semantic interaction among different KG components. Second, most approaches adopt single binary classification training objective, leading to insufficient semantic representation learning. To address these challenges, we propose extbf{SASA}, a novel framework designed to enhance TC models via separated attention mechanism and semantic-aware contrastive learning~(CL). Specifically, we first propose separated attention mechanism to encode triples into decoupled contextual representations and then fuse them through a more effective interactive way. Then, we introduce semantic-aware hierarchical CL as auxiliary training objective to guide models in improving their discriminative capabilities and achieving sufficient semantic learning, considering both local level and global level CL. Experimental results across two benchmark datasets demonstrate that SASA significantly outperforms state-of-the-art methods. In terms of accuracy, we advance the state-of-the-art by +5.9\% on FB15k-237 and +3.4\% on YAGO3-10.

연구 동기 및 목표

• h, r, t 간의 구성요소 간 의미 상호작용을 포착하여 트리플 분류 성능을 향상시키려는 동기를 부여한다.
• 구분된 어텐션을 제안하여 구성요소 표현을 분리하고 융합하여 더 풍부한 상호작용을 얻는다.
• 의미 인식적 계층적 대비 학습을 도입하여 로컬 및 글로벌 수준에서 구별 가능한 의미 학습을 강화한다.
• TC 목표를 대비 학습과 함께 공동으로 학습하여 의미 표현 학습을 향상시킨다.
• 표준 TC 벤치마크에서 SASA를 평가하여 최첨단 방법 대비 성능 향상을 입증한다.

제안 방법

• 하나의 타워가 (h,r)을 인코딩하고 다른 타워가 t를 인코딩하는 이중-타워 인코더를 사용한다; 헤드-관계 임베딩 e_{hr}와 테일 임베딩 e_{t}는 BERT 기반 인코더를 통해 얻어진다.
• 분리된 주의 메커니즘을 적용하여 분리된 표현들을 상호 정렬하고 교차 주의를 통해 최종 트리플 표현 h_{hrt}으로 융합한다.
• 유효성 점수를 출력하는 선형 계층을 사용하여 이진 교차 엔트로피 TC 목표로 학습한다.
• 로컬 수준 대비 학습을 도입하여 테일에 대해 드롭아웃 보강된 양수를 만들어 견고한 미세한 의미를 학습한다 (L_local).
• 큰 임베딩 모델(BGE)로 어려운 음수를 검색하여 전역 수준 대비 학습을 도입하고 기준(anchor)을 어려운 음수와 구별하도록 학습한다 (L_global).
• 대조 손실에서 학습 가능한 온도 매개변수를 사용하여 L_TC + w1*L_local + w2*L_global를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 TC를 위한 헤드-관계 및 테일 표현 간의 상호 작용을 구분된 주의가 개선할 수 있는가?
• RQ2 의미 인식적 계층적 대비 학습(로컬 및 글로벌)이 KG의 미세한 의미 학습을 향상시키는가?
• RQ3 로컬 퍼터벙(드롭아웃)과 어려운 음수 마이닝이 TC 성능에 미치는 영향은?
• RQ4 SASA가 FB15k-237 및 YAGO3-10에서 최첨단 TC 방법에 비해 어떤 이득을 보이는가?
• RQ5 소형 모델의 텍스트 기반 접근 방식만으로 임베딩 기반 및 더 큰 텍스트 기반 TC 모델보다 우수한 성능을 달성할 수 있는가?

주요 결과

• SASA는 최첨단 정확도: FB15k-237에서 0.966, YAGO3-10에서 0.966를 달성한다.
• SASA는 FB15k-237에서 StAR 대비 정확도 5.9%포인트, YAGO3-10에서 3.4%포인트 향상시킨다.
• 로컬 수준 CL과 글로벌 수준 CL 모두 성능 향상에 기여하며, 구분된 어텐션을 제거하면 결과가 저하된다.
• 에이블레이션은 로컬 CL이 정확도 이득을 더하고(예: FB15k-237에서 0.35%), 글로벌 CL은 어려운 음수를 활용해 상당한 개선을 제공한다.
• BGE 하드 네거티브를 통한 글로벌 음수 샘플링은 의미적으로 유사한 테일의 구별력을 추가로 높인다.
• 표 수준 결과는 SASA의 정밀도 및 재현율 향상을 나타내며(FB237: 0.926/0.974; YAGO3-10: 0.927/0.973), 각각 F1-score는 0.950 및 0.949이다.