[논문 리뷰] Tokenization, Fusion and Decoupling: Bridging the Granularity Mismatch Between Large Language Models and Knowledge Graphs

Siyue Su, Jian Yang외 2명|arXiv (Cornell University)|2026. 02. 26.

Advanced Graph Neural Networks인용 수 0

한 줄 요약

이 논문은 엔티티를 분할 불가능한 토큰으로 취급하고 텍스트와 구조적 KG 정보를 이중 스트림 임베딩과 분리된 예측으로 융합하여 전체 공간 지식 그래프 완성을 달성하고 최첨단 결과를 얻는 KGT 프레임워크를 제시한다.

ABSTRACT

Leveraging Large Language Models (LLMs) for Knowledge Graph Completion (KGC) is promising but hindered by a fundamental granularity mismatch. LLMs operate on fragmented token sequences, whereas entities are the fundamental units in knowledge graphs (KGs) scenarios. Existing approaches typically constrain predictions to limited candidate sets or align entities with the LLM's vocabulary by pooling multiple tokens or decomposing entities into fixed-length token sequences, which fail to capture both the semantic meaning of the text and the structural integrity of the graph. To address this, we propose KGT, a novel framework that uses dedicated entity tokens to enable efficient, full-space prediction. Specifically, we first introduce specialized tokenization to construct feature representations at the level of dedicated entity tokens. We then fuse pre-trained structural and textual features into these unified embeddings via a relation-guided gating mechanism, avoiding training from scratch. Finally, we implement decoupled prediction by leveraging independent heads to separate and combine semantic and structural reasoning. Experimental results show that KGT consistently outperforms state-of-the-art methods across multiple benchmarks.

연구 동기 및 목표

• LLMs(토큰 기반)와 지식 그래프(엔티티 기반) 간의 세분성 차이를 해소한다.
• 제한된 후보 집합 없이 전체 엔티티 어휘에 대해 전체 공간 예측을 가능하게 한다.
• 효율적 융합과 워밍업 학습을 통해 사전 학습된 텍스트 및 구조적 특징을 활용한다.
• 의미론적 및 구조적 추론을 분리하여 예측 정확도를 향상시킨다.
• 표준 다중모달 KG 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• 엔티티와 관계를 LLM 어휘에서 분리 불가능한 토큰으로 등록한다.
• 텍스트 및 구조적 특징을 균일한 공간으로 투영하고 관계 가이딩 게이팅 메커니즘으로 융합하는 이중 스트림 특수 토큰 임베딩을 사용한다.
• 별개의 텍스트 및 구조적 헤드를 갖춘 듀얼 뷰 분리 예측기를 구현하여 독립적 점수를 생성하고 이를 적응적으로 결합한다.
• 초기화된 기본 임베딩으로 LoRA 기반 스코어링을 사용하여 효율적인 미세 조정이 가능하게 한다.
• 전체 엔티티 어휘에 대한 표준 교차 엔트로피 손실로 학습하고 모달리티 기여를 균형 잡기 위한 로짓 스케일링을 학습한다.

실험 결과

연구 질문

• RQ1 KG 요소를 특별 토큰으로 취급하여 후보 필터링 없이 LLM이 전체 공간 KG 완성을 수행할 수 있는가?
• RQ2 듀얼 스트림 융합 및 분리된 출력 헤드가 KGC의 의미론적 및 구조적 추론을 개선하는가?
• RQ3 사전 학습된 텍스트 및 구조 priors를 효과적으로 통합하여 MMKG 벤치마크에서 최첨단 baselines를 이길 수 있는가?

주요 결과

• KGT는 MKG-W, MKG-Y, 및 DB15K 벤치마크에서 19개의 baseline을 능가하며 최첨단 결과를 달성한다.
• KGT는 Hits@1 및 MRR에서 주목할 만한 개선을 제공하며 데이터셋 전반에 걸쳐 이득이 발생한다.
• 변성 실험은 텍스트 및 구조 모달리티 모두 기여를 보여주며 텍스트 정보가 종종 우세하다.
• 듀얼 스트림 임베딩과 관계 가이딩 게이팅은 결정적이며 구성 요소를 제거하면 성능이 저하된다.
• 학습된 로짓 스케일링은 이중 뷰 예측의 균형을 효과적으로 맞춰 글로벌 순위를 우수하게 만든다.