[論文レビュー] Diffusion-based Hierarchical Negative Sampling for Multimodal Knowledge Graph Completion

Guanglin Niu, Xiaowei Zhang|ArXiv.org|Jan 26, 2025

Text and Document Classification Technologies被引用数 4

ひとこと要約

この論文は、マルチモーダル知識グラフ補完のための拡散ベースの階層的ネガティブサンプリングフレームワークであるDHNSを提案する。DiffHEGはマルチモーダルかつ階層的なネガティブ埋め込みを生成し、NTATはHardness-Adaptive Lossを用いてMMKGCモデルを訓練する。

ABSTRACT

Multimodal Knowledge Graph Completion (MMKGC) aims to address the critical issue of missing knowledge in multimodal knowledge graphs (MMKGs) for their better applications. However, both the previous MMGKC and negative sampling (NS) approaches ignore the employment of multimodal information to generate diverse and high-quality negative triples from various semantic levels and hardness levels, thereby limiting the effectiveness of training MMKGC models. Thus, we propose a novel Diffusion-based Hierarchical Negative Sampling (DHNS) scheme tailored for MMKGC tasks, which tackles the challenge of generating high-quality negative triples by leveraging a Diffusion-based Hierarchical Embedding Generation (DiffHEG) that progressively conditions on entities and relations as well as multimodal semantics. Furthermore, we develop a Negative Triple-Adaptive Training (NTAT) strategy that dynamically adjusts training margins associated with the hardness level of the synthesized negative triples, facilitating a more robust and effective learning procedure to distinguish between positive and negative triples. Extensive experiments on three MMKGC benchmark datasets demonstrate that our framework outperforms several state-of-the-art MMKGC models and negative sampling techniques, illustrating the effectiveness of our DHNS for training MMKGC models. The source codes and datasets of this paper are available at https://github.com/ngl567/DHNS.

研究の動機と目的

• incomplete multimodal knowledge graphs を改善するため、マルチモーダルセマンティクスを複数のHardnessレベルにわたって活用したネガティブサンプリングを向上させる。
• 拡散モデルを活用して階層的埋め込みを生成し、高品質なネガティブトリプルを作成する。
• ネガティブトリプルの難易度に応じてマージンを適応する訓練目的を導入し、KGC学習を改善する。

提案手法

• マルチモーダルエンティティおよび関係情報を条件付けてノイズ除去を行い、複数のHardnessレベルのネガティブトリプルを生成するDiffHEGモジュールを導入する。
• 拡散過程をマルチモーダル埋め込み（構造、テキスト、ビジュアル）および関係埋め込みを用いたマルチモーダル条件付け（MMC）機構で条件付けする。
• Multiple Hardness-Level Denoising (MHLD)とタイムステップ制御拡散を実装し、時間ステップT/20, T/10, T/5, T/2で多様なネガティブ埋め込みを生成する。
• hardness-adaptiveトレーニング objective (HAL) を定義し、生成されたネガティブの難易度に応じてマージンを割り当て、伝統的なKGC損失（L_KGC）と組み合わせてKGEモデルを訓練する。
• Negative Triple-Adaptive Training (NTAT) を採用し、多模式で生成されたネガティブを共同でスコアリングし、Hardness-Adaptive Loss (L_HA) によってマージン（γ_t）を適応させる。
• DHNSはさまざまなKGEモデル（例：RotatE）と組み合わせてMMKGCタスクに適用できるプラグイン的アプローチを提供する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの階層的ネガティブサンプリングはマルチモーダル知識グラフに対して多様で高品質なネガティブトリプルを生成できるか。
• RQ2 テキスト、画像、構造といったマルチモーダル情報を条件付けることはネガティブトリプルの品質とMMKGC性能を改善するか。
• RQ3 難易度に応じて適応する訓練目的は、MMKGCにおける難易度の異なるネガティブを使用した場合の学習を改善するか。
• RQ4 DHNSは従来の単模態MMKGCおよびNSベースのアプローチと比較してベンチマークデータセットでどのように評価されるか。
• RQ5 DHNSフレームワークは、異なるKGEモデルと組み合わせた場合に改善をもたらすプラグイン可能なモジュールか。

主な発見

• DHNS with RotatE は、3つのMMKGCベンチマーク（DB15K, MKG-W, MKG-Y）で最先端または競合的な結果を達成した。
• DHNSは一貫して単模态KGC、MMKGC、および従来のNSベースモデルをMRRおよびtop-N指標で上回った。
• DiffHEGモジュールは多モーダルの階層的ネガティブを複数のHardnessレベルで効果的に生成し、KGEモデルの訓練信号を改善した。
• Hardness-Adaptive Loss（HAL）とNTATはネガティブの難易度に応じてマージンを調整することでモデルの頑健性を向上させた。
• アブレーション研究は、DiffHEG、MMC、MHLD、NTAT、HALのいずれかを除去すると性能が低下することを示し、それらの寄与を確認した。
• DHNSはTransE、DistMult、RotatEなどの異なるKGEバックボーンやデータセットに対してプラグインNS戦略として頑健性を示した。