[論文レビュー] Tokenization, Fusion and Decoupling: Bridging the Granularity Mismatch Between Large Language Models and Knowledge Graphs

Siyue Su, Jian Yang+2 more|arXiv (Cornell University)|Feb 26, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

この論文は KGT を提案する。エンティティを分割不可のトークンとして扱い、テキストと構造KG情報をデュアルストリーム埋め込みとデカップルド予測で融合し、全空間知識グラフ完遂を実現し、最先端の結果を示す。

ABSTRACT

Leveraging Large Language Models (LLMs) for Knowledge Graph Completion (KGC) is promising but hindered by a fundamental granularity mismatch. LLMs operate on fragmented token sequences, whereas entities are the fundamental units in knowledge graphs (KGs) scenarios. Existing approaches typically constrain predictions to limited candidate sets or align entities with the LLM's vocabulary by pooling multiple tokens or decomposing entities into fixed-length token sequences, which fail to capture both the semantic meaning of the text and the structural integrity of the graph. To address this, we propose KGT, a novel framework that uses dedicated entity tokens to enable efficient, full-space prediction. Specifically, we first introduce specialized tokenization to construct feature representations at the level of dedicated entity tokens. We then fuse pre-trained structural and textual features into these unified embeddings via a relation-guided gating mechanism, avoiding training from scratch. Finally, we implement decoupled prediction by leveraging independent heads to separate and combine semantic and structural reasoning. Experimental results show that KGT consistently outperforms state-of-the-art methods across multiple benchmarks.

研究の動機と目的

• LLM（トークンベース）と知識グラフ（エンティティベース）間の粒度不一致を解消する。
• 候補セットを制限せず、エンティティ語彙全体に対して全空間予測を有効化する。
• 効率的な融合とウォームスタート学習を通じて、事前学習済みのテキスト特徴と構造特徴を活用する。
• 意味論的推論と構造的推論をデカップル化して予測精度を向上させる。
• 標準的なマルチモーダルKGベンチマークで最先端の性能を示す。

提案手法

• エンティティと関係をLLMの語彙内の分割不可トークンとして登録する。
• デュアルストリーム専用トークン埋め込みを用いて、テキスト的特徴と構造的特徴を統一空間に射影し、関係誘導ゲーティング機構で融合する。
• デュアルビュー分離予測子を実装し、テキスト頭部と構造頭部を別個にスコアリングして独立したスコアを生成し、適応的に結合する。
• LoRA ベースのスコアリングを、事前初期化済みのベース埋め込みとともに用いて効率的な微調整を可能にする。
• 全エンティティ語彙に対する標準クロスエントロピーロスで訓練し、モダリティの寄与をバランスさせるためのロジットスケーリングを学習する。

実験結果

リサーチクエスチョン

• RQ1 エンティティを特別なトークンとして扱うことで、LLM は候補フィルタリングなしに全空間KG完遂を実現できるか。
• RQ2 デュアルストリーム融合とデカップルド出力ヘッドは、意味論的および構造的推論の能力を向上させるか。
• RQ3 事前学習済みのテキストおよび構造的事前知識を効果的に統合して、MMKGベンチマークで最先端の基準を上回れるか。

主な発見

データセット	MRR_MKG-W	H@1_MKG-W	MRR_MKG-Y	H@1_MKG-Y	MRR_DB15K	H@1_DB15K	H@3_DB15K	H@10_DB15K
KGT	43.27	36.02	43.62	37.68	42.16	34.06	46.03	57.69
MKGL ♣	32.86	26.54	29.11	24.30	27.14	18.68	30.39	43.87

• KGT は MKG-W、MKG-Y、DB15K のベンチマークで最先端の結果を達成し、19 件のベースラインを上回った。
• KGT は Hits@1 および MRR の顕著な改善を提供し、データセット間で広く利益を生んだ。
• アブレーション実験で、テキスト modality と構造 modality の双方がプラスに寄与することを示し、テキスト情報がしばしば優勢である。
• デュアルストリーム埋め込みと関係誘導ゲーティングは重要で、部品を除くと性能が劣化する。
• 学習されたロジットスケーリングはデュアルビュー予測のバランスを効果的に取り、グローバルランキングを向上させる。