[論文レビュー] SASA: Semantic-Aware Contrastive Learning Framework with Separated Attention for Triple Classification

Xu Xiaodan, Hu Xiaolin|arXiv (Cornell University)|Jan 19, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

SASAは分離アテンションと意味論的に意識された階層的コントラスト学習を組み合わせたデュアルタワーエンコーダを提案し、知識グラフのトリプル分類を改善。FB15k-237およびYAGO3-10で最先端の結果を達成。

ABSTRACT

Knowledge Graphs~(KGs) often suffer from unreliable knowledge, which restricts their utility. Triple Classification~(TC) aims to determine the validity of triples from KGs. Recently, text-based methods learn entity and relation representations from natural language descriptions, significantly improving the generalization capabilities of TC models and setting new benchmarks in performance. However, there are still two critical challenges. First, existing methods often ignore the effective semantic interaction among different KG components. Second, most approaches adopt single binary classification training objective, leading to insufficient semantic representation learning. To address these challenges, we propose extbf{SASA}, a novel framework designed to enhance TC models via separated attention mechanism and semantic-aware contrastive learning~(CL). Specifically, we first propose separated attention mechanism to encode triples into decoupled contextual representations and then fuse them through a more effective interactive way. Then, we introduce semantic-aware hierarchical CL as auxiliary training objective to guide models in improving their discriminative capabilities and achieving sufficient semantic learning, considering both local level and global level CL. Experimental results across two benchmark datasets demonstrate that SASA significantly outperforms state-of-the-art methods. In terms of accuracy, we advance the state-of-the-art by +5.9\% on FB15k-237 and +3.4\% on YAGO3-10.

研究の動機と目的

• h, r, t の間の成分間意味相互作用を捉えることでトリプル分類を改善する動機づけ。
• よりリッチな相互作用のために成分表現を分離して統合する separated attention の提案。
• 局所的およびグローバルなレベルで discriminative な意味学習を強化する semantic-aware hierarchical contrastive learning の導入。
• 対照学習と TC 目的を共同訓練して意味表現学習を改善。
• SASA を標準 TC ベンチマークで評価し、最先端法と比較した性能向上を示す。

提案手法

• 一方のタワーが (h,r) を、もう一方のタワーが t をエンコードするデュアルタワーエンコーダを使用。ヘッド-リレーション埋め込み e_{hr} およびテail 埋め込み e_{t} はBERTベースのエンコーダで取得。
• 分離アテンション機構を適用してデカップリングされた表現を整列・統合し、クロスアテンションを介して最終的なトリプル表現 h_{hrt} を得る。
• 線形層を用いたバイナリクロスエントロピー TC 目的で訓練し、妥当性スコアを出力。
• 局所レベルのコントラスト学習を導入し、テールのドロップアウト拡張ポジティブを作成してロバストな微細意味を学習（L_local）。
• グローバルレベルのコントラスト学習を導入し、巨大埋め込みモデル（BGE）で難例を取得し、アンカーと難例を識別する訓練を行う（L_global）。
• L_TC + w1*L_local + w2*L_global をコントラスト損失の温度パラメータを学習可能にして共同最適化。

実験結果

リサーチクエスチョン

• RQ1 separated attention は TC のために head-relation と tail 表現の相互作用を改善できるか？
• RQ2 semantic-aware hierarchical contrastive learning（局所およびグローバル）はKGsの微細意味学習を強化するか？
• RQ3 局所的摂動（ドロップアウト）と難例マイニングは TC の性能にどう影響するか？
• RQ4 FB15k-237 および YAGO3-10 で SASA の最先端 TC 方法に対する利得はどれくらいか？
• RQ5 小規模モデルのテキストベースアプローチは埋め込みベースおよび大規模テキストベース TC モデルを超えられるか？

主な発見

• SASA は最先端の精度を達成：FB15k-237 と YAGO3-10 のいずれも 0.966。
• SASA は FB15k-237 で StAR より 5.9 ポイント、YAGO3-10 で 3.4 ポイント精度を改善。
• 局所レベルの CL およびグローバルレベルの CL はともに性能向上に寄与； separated attention を除くと結果が劣化。
• アブレーションは局所 CL が精度向上をもたらし（例: FB15k-237 で 0.35%）、グローバル CL は難例を活用して大幅な改善を提供する。
• BGE の難例を用いたグローバルネガティブサンプリングは、意味的に類似するテールの識別をさらに高める。
• 表レベルの結果は、SASA の精度と再現率の改善を示す（FB237: 0.926/0.974; YAGO3-10: 0.927/0.973）で、F1スコアはそれぞれ 0.950 と 0.949。