[논문 리뷰] Vision, Deduction and Alignment: An Empirical Study on Multi-modal Knowledge Graph Alignment

Yangning Li, Jiaoyan Chen외 4명|arXiv (Cornell University)|2023. 02. 17.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 이미지가 포함된 엔티티 정렬을 위한 대규모 Multi-OpenEA 벤치마크 여덟 개를 구축하고, 임베딩 모델에서 Vision 기반 신호를 분석하며, 자기지도 학습 멀티모달 정렬 방법 LODEME를 도입한다. 이는 최첨단 결과를 달성한다.

ABSTRACT

Entity alignment (EA) for knowledge graphs (KGs) plays a critical role in knowledge engineering. Existing EA methods mostly focus on utilizing the graph structures and entity attributes (including literals), but ignore images that are common in modern multi-modal KGs. In this study we first constructed Multi-OpenEA -- eight large-scale, image-equipped EA benchmarks, and then evaluated some existing embedding-based methods for utilizing images. In view of the complementary nature of visual modal information and logical deduction, we further developed a new multi-modal EA method named LODEME using logical deduction and multi-modal KG embedding, with state-of-the-art performance achieved on Multi-OpenEA and other existing multi-modal EA benchmarks.

연구 동기 및 목표

• 구조와 리터럴을 보완하기 위해 엔티티 정렬(EA)에서 시각 모달리티의 활용을 동기 부여한다.
• 실제 세계의 멀티모달 KG를 반영하기 위해 이미지가 제공된 대규모 EA 벤치마크를 생성한다.
• Multi-OpenEA에서 시각적 확장을 갖춘 기존 임베딩 기반 EA 모델을 평가한다.
• 로직 추론과 멀티모달 임베딩을 결합한 자기지도 학습형 멀티모달 EA 방법(LODEME)을 제안한다.

제안 방법

• 네 가지 임베딩 기반 EA 모델(BootEA, MultiKE, RDGCN, IMUSE)을 이미지 모달리티(-V 접미사)로 확장한다.
• 8개의 OpenEA 벤치마크에 엔티티당 여러 이미지를 추가하여 Multi-OpenEA 벤치마크를 구성한다.
• PARIS에서 영감을 받은 확률적 추론(PR) 모듈과 구조 인식 이미지 주의(attention)가 포함된 멀티모달 의미 임베딩(SE) 모듈로 LODEME를 개발한다.
• SE에서 구조(GCN), 관계/속성, 이름 임베딩(M-BERT), 이미지 임베딩(CLIP)을 모달리티의 가중 합으로 인코딩한다.
• 경계 기반 정렬 손실을 사용해 훈련하고 어려운 부정 샘플링을 이용하며, 추론은 탐욕적 탐색과 CSLS를 사용한다.

실험 결과

연구 질문

• RQ1 시각 모달리티가 대규모 이미지가 포함된 KG에서 임베딩 기반 EA 방법의 성능을 향상시키는가?
• RQ2 멀티모달 임베딩과 로직 추론의 결합이 EA 성능에 어떤 영향을 미치는가?
• RQ3 구조, 리터럴, 이름, 이미지 등 서로 다른 모달리티와 이미지 수가 EA 정확도에 어떤 영향을 미치는가?
• RQ4 LODEME가 다양한 벤치마크에서 기존의 멀티모달 EA 방법과 비교하여 어떤 위치에 있는가?
• RQ5 구조 인식 주의 메커니즘이 엔티티당 다중 이미지를 효과적으로 활용할 수 있는가?

주요 결과

모델	Hit@1 (15K-V1)	Hit@5 (15K-V1)	MRR (15K-V1)	Hit@1 (15K-V2)	Hit@5 (15K-V2)	MRR (15K-V2)	Hit@1 (100K-V1)	Hit@5 (100K-V1)	MRR (100K-V1)	Hit@1 (100K-V2)	Hit@5 (100K-V2)	MRR (100K-V2)
BootEA	0.618	0.795	0.697	0.488	0.704	0.584	0.516	0.685	0.594	0.766	0.892	0.822
BootEA-V	0.730	0.901	0.805	0.728	0.926	0.814	0.643	0.837	0.730	0.830	0.937	0.866
MultiKE	0.426	0.513	0.471	0.561	0.723	0.636	0.291	0.352	0.324	0.327	0.410	0.371
MultiKE-V	0.737	0.771	0.754	0.727	0.765	0.746	0.743	0.766	0.755	0.687	0.727	0.707
RDGCN	0.561	0.714	0.722	0.640	0.777	0.702	0.362	0.485	0.420	0.421	0.528	0.473
RDGCN-V	0.683	0.800	0.736	0.686	0.817	0.744	0.537	0.656	0.592	0.489	0.704	0.584
IMUSE	0.327	0.523	0.419	0.581	0.778	0.671	0.276	0.437	0.355	0.431	0.631	0.525
IMUSE-V	0.404	0.593	0.492	0.606	0.806	0.696	0.351	0.521	0.432	0.494	0.701	0.590
PARIS	0.734	-	-	0.840	-	-	0.667	-	-	0.795	-	-
MSNEA	0.962	0.988	0.973	0.971	0.974	0.989	0.946	0.957	0.952	0.982	0.988	0.989
EVA	0.971	0.989	0.978	0.990	0.998	0.994	0.968	0.989	0.976	0.991	0.998	0.994
EN-FR	LODEME	0.989	0.997	0.992	0.997	1.000	0.998	0.966	0.983	0.972	0.978	0.996	0.985
D-W	LODEME	0.991	0.998	0.994	0.996	1.000	0.998	0.973	0.992	0.973	0.994	0.999	0.996

• 시각 모달리티가 임베딩 기반 EA 모델의 성능을 평균적으로 Hit@1 상승 약 12% 만큼 개선한다.
• LODEME는 Multi-OpenEA 벤치마크에서 Hit@1이 95%를 넘는 최첨단 성능을 달성한다(D-W 및 EN-FR 변형이 제시됨).
• 이미지를 갖춘 수정된 임베딩 기반 모델들(BootEA-V, MultiKE-V, IMUSE-V)이 데이터셋 전반에서 주목할 만한 성능 향상을 보였고, 평균적으로 가장 큰 향상은 BootEA-V, MultiKE-V, IMUSE-V에서 관찰되었다.
• 추론 제거 실험은 구조 정보가 여전히 가장 중요한 모달리티임을 보여주며, 시각 데이터는 희박한 KG에서 더 큰 이점을 제공하고 이름이나 관계/속성 제거보다 성능 저하가 크다.
• 다중 이미지에 대한 구조 인식 주의가 평균 풀링(mean-pooling) 및 단일 최상 이미지 전략보다 우수하여 다중 이미지 활용이 효과적임을 시사한다.