[論文レビュー] Unleashing the Power of Imbalanced Modality Information for Multi-modal Knowledge Graph Completion

Yichi Zhang, Zhuo Chen+3 more|arXiv (Cornell University)|Feb 22, 2024

Text and Document Classification Technologies被引用数 7

ひとこと要約

AdaMF-MAT は適応的多模態融合とモダリティ対向訓練を導入し、マルチモーダル KG の完結を改善し、19のベースラインを上回り、3つのベンチマークで新時点のSOTAを達成します。

ABSTRACT

Multi-modal knowledge graph completion (MMKGC) aims to predict the missing triples in the multi-modal knowledge graphs by incorporating structural, visual, and textual information of entities into the discriminant models. The information from different modalities will work together to measure the triple plausibility. Existing MMKGC methods overlook the imbalance problem of modality information among entities, resulting in inadequate modal fusion and inefficient utilization of the raw modality information. To address the mentioned problems, we propose Adaptive Multi-modal Fusion and Modality Adversarial Training (AdaMF-MAT) to unleash the power of imbalanced modality information for MMKGC. AdaMF-MAT achieves multi-modal fusion with adaptive modality weights and further generates adversarial samples by modality-adversarial training to enhance the imbalanced modality information. Our approach is a co-design of the MMKGC model and training strategy which can outperform 19 recent MMKGC methods and achieve new state-of-the-art results on three public MMKGC benchmarks. Our code and data have been released at https://github.com/zjukg/AdaMF-MAT.

研究の動機と目的

• MMKGC における不均衡なモダリティ情報を効果的に活用する必要性を動機づける。
• 構造的・視覚的・テキストモダリティを適応的に融合する AdaMF を開発する。
• 限られたマルチモーダル情報を補強するためにモダリティ対向訓練（MAT）を組み込む。
• ベースラインに対する実証的な向上を示し、モダリティ欠如シナリオを分析する。

提案手法

• 専用のエンコーダを用いて、エンティティの構造的・視覚的・テキスト特徴を符号化する。
• モダリティ固有の重み（alpha_m）を用いてエンティティの結合埋め込みを計算するために適応的多模態融合（AdaMF）を適用する。
• 結合埋め込み上でRotatEベースのスコア関数を用いて三重の妥当性スコアリングを行う。
• 生成器（G）と識別器（D）を用いたモダリティ対向訓練（MAT）を導入し、合成マルチモーダル埋め込みを作成・活用する。
• 高品質な対動的サンプルで学習を補強するために、対立ループで D と G を訓練する。
• L_kgc と重み付き対向損失（L_adv）を組み合わせた訓練目的を提供する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: AdaMF-MAT はリンク予測において既存の MMKGC 手法と比較してどのように性能を示すか？
• RQ2 RQ2: モダリティ欠落シナリオで AdaMF-MAT はどの程度の性能を示すか？
• RQ3 RQ3: AdaMF および MAT コンポーネントが全体の性能にどのように寄与するか？
• RQ4 RQ4: 直感的なケーススタディは AdaMF-MAT がモダリティ情報をどのように活用するかを示すことができるか？

主な発見

データセット	MRR	Hit@1	Hit@3	Hit@10
DB15K	35.14	25.30	41.11	52.92
MKG-W	35.85	29.04	39.01	48.42
MKG-Y	38.57	34.34	40.59	45.76

• AdaMF-MAT は三つのMMKGCベンチマークで19のベースラインを上回り、MRRとHits@1で顕著な向上を示す。
• MATを用いないAdaMF はすでにいくつかのベースラインより改善を示し、適応的融合を検証している。
• MAT は訓練のための高品質な対向サンプルを生成することでさらなる向上を提供する。
• いくつかのモダリティが欠如している設定でも AdaMF-MAT は有効で、ロバスト性を向上させる。
• アブレーション研究は各コンポーネント（AdaMF と MAT）が性能に寄与することを示し、適応的融合と対向的強化が最良の結果をもたらす。
• ケーススタディはモダリティ重みが関係ごとに変化し、MAT が重要なモダリティへ焦点を移すことができることを示す。