[논문 리뷰] Unleashing the Power of Imbalanced Modality Information for Multi-modal Knowledge Graph Completion

Yichi Zhang, Zhuo Chen외 3명|arXiv (Cornell University)|2024. 02. 22.

Text and Document Classification Technologies인용 수 7

한 줄 요약

AdaMF-MAT는 적응형 다중모달 융합과 모달리티-적대적 학습을 도입하여 다중 모달 KG 완성을 개선하고, 19개의 베이스라인을 능가하며 세 가지 벤치마크에서 새로운 SOTA를 달성합니다.

ABSTRACT

Multi-modal knowledge graph completion (MMKGC) aims to predict the missing triples in the multi-modal knowledge graphs by incorporating structural, visual, and textual information of entities into the discriminant models. The information from different modalities will work together to measure the triple plausibility. Existing MMKGC methods overlook the imbalance problem of modality information among entities, resulting in inadequate modal fusion and inefficient utilization of the raw modality information. To address the mentioned problems, we propose Adaptive Multi-modal Fusion and Modality Adversarial Training (AdaMF-MAT) to unleash the power of imbalanced modality information for MMKGC. AdaMF-MAT achieves multi-modal fusion with adaptive modality weights and further generates adversarial samples by modality-adversarial training to enhance the imbalanced modality information. Our approach is a co-design of the MMKGC model and training strategy which can outperform 19 recent MMKGC methods and achieve new state-of-the-art results on three public MMKGC benchmarks. Our code and data have been released at https://github.com/zjukg/AdaMF-MAT.

연구 동기 및 목표

• MMKGC에서 불균형한 모달리티 정보를 효과적으로 활용할 필요성을 동기 부여한다.
• 구조적, 시각적, 텍스트 모달리티를 적응적으로 융합하도록 AdaMF를 개발한다.
• 제한된 다중 모달 정보를 보강하기 위해 모달리티-적대적 학습(MAT)을 도입한다.
• 기초 모델 대비 경험적 이점을 입증하고 모달리티 누락 시나리오를 분석한다.

제안 방법

• 전용 인코더를 사용하여 엔티티의 구조적, 시각적 및 텍스트 특성을 인코딩한다.
• 모달리티 특성 가중치(alpha_m)를 갖는 엔티티 공동 임베딩을 계산하기 위해 Adaptive Multi-modal Fusion(AdaMF)을 적용한다.
• 공동 임베딩에 RotatE 기반 스코어 함수를 사용하여 트리플의 타당성을 점수화한다.
• 합성 다중 모달 임베딩을 생성하고 활용하기 위해 Generator(G)와 Discriminator(D)가 있는 모달리티 적대적 학습(MAT)을 도입한다.
• 높은 품질의 적대적 샘플로 학습을 보강하기 위해 적대적 루프에서 D와 G를 학습시킨다.
• L_kgc와 가중치 부여된 적대적 손실(L_adv)을 결합한 학습 목표를 제공한다.

실험 결과

연구 질문

• RQ1 RQ1: 링크 예측에서 기존 MMKGC 방법들과 비교하여 AdaMF-MAT의 성능은 어떠한가요?
• RQ2 RQ2: 모달리티 누락 시나리오에서 AdaMF-MAT의 성능은 어떠한가요?
• RQ3 RQ3: AdaMF와 MAT 구성요소가 전체 성능에 어떤 기여를 하나요?
• RQ4 RQ4: 직관적인 사례 연구를 통해 AdaMF-MAT가 모달리티 정보를 어떻게 활용하는지 설명할 수 있나요?

주요 결과

• AdaMF-MAT는 세 가지 MMKGC 벤치마크에서 19개의 베이스라인을 능가하며 MRR 및 Hits@1에서 현저한 향상을 보인다.
• MAT 없이 AdaMF만으로도 여러 베이스라인보다 향상되어 적응형 융합을 검증한다.
• MAT은 학습을 위한 고품질 적대적 샘플을 생성하여 추가적인 이점을 제공한다.
• 일부 모달리티가 누락된 경우에도 AdaMF-MAT는 견고성을 높이며 모달리티 누락 설정에서도 효과적이다.
• 절제 연구에서 각 구성요소(AdaMF 및 MAT)가 성능에 기여함을 보이며, 적응형 융합과 적대적 보강이 최상의 결과를 낸다.
• 사례 연구는 모달리티 가중치가 관계에 따라 달라지고 MAT가 중요한 모달리티에 강조점을 옮길 수 있음을 시사한다.