[논문 리뷰] MMKG: Multi-Modal Knowledge Graphs

Ye Liu, Hui Li외 4명|arXiv (Cornell University)|2019. 03. 13.

Advanced Graph Neural Networks참고 문헌 31인용 수 6

한 줄 요약

이 논문은 Freebase15k, DBpedia15k, YAGO15k를 포함하는 다중 모odal 지식 그래프 데이터셋인 MMKG를 소개한다. 각 데이터셋은 SameAs 링크를 통해 이미지, 수치적 특징, 교차 지식 그래프 엔티티 정렬 정보로 풍부하게 강화되어 있다. 저자들은 시각적, 수치적, 관계적 특징을 통합함으로써 SameAs 링크 예측 성능이 크게 향상됨을 입증하였으며, PoE-lrni 모델이 FB-DB에서 72.1 MRR 및 82.0 HITS@10을 기록하여 Concat 및 Ensemble와 같은 기준 모델들을 압도적으로 뛰어넘었다.

ABSTRACT

We present MMKG, a collection of three knowledge graphs that contain both numerical features and (links to) images for all entities as well as entity alignments between pairs of KGs. Therefore, multi-relational link prediction and entity matching communities can benefit from this resource. We believe this data set has the potential to facilitate the development of novel multi-modal learning approaches for knowledge graphs.We validate the utility ofMMKG in the sameAs link prediction task with an extensive set of experiments. These experiments show that the task at hand benefits from learning of multiple feature types.

연구 동기 및 목표

• 링크 예측 및 엔티티 매칭를 위한 이미지, 수치적 특징, 교차 지식 그래프 정렬을 포함하는 다중 모달 지식 그래프 벤치마크의 부족 문제를 해결하기 위해.
• Freebase15k의 대체로 다중 모달 데이터로 풍부하게 강화된 DBpedia15k와 YAGO15k라는 두 개의 새로운 지식 그래프를 구축하기 위해.
• 다중 모달 특징(이미지, 수치적, 관계적)이 SameAs 링크 예측 작업에서 성능 향상에 기여한다는 가설을 검증하기 위해.
• 다중 모달 지식 그래프 보완 방법을 평가하기 위한 표준화된 벤치마크를 제공하기 위해.

제안 방법

• 기존 SameAs 링크를 사용하여 Freebase15k 엔티티를 DBpedia 및 YAGO에 정렬한 후, 고차수의 이웃을 통한 확장을 통해 엔티티 수를 균형 잡힌 상태로 구성함으로써 DBpedia15k와 YAGO15k를 구축함.
• 세 지식 그래프 전반에 걸쳐 거의 모든 엔티티에 대해 이미지 URL과 수치적 리터럴을 수집하고 연결함.
• 이미지, 수치적, 관계적, 잠재적 임베딩을 통합하는 다중 모달 링크 예측 프레임워크를 설계한 Product of Experts (PoE) 모델 기반으로 구현함.
• 기존 학습 프레임워크를 확장하여 시각적 및 수치적 특징을 PoE 아키텍처에 통합함으로써 SameAs 예측을 위한 다중 모달 증거를 모델링함.
• Mean Rank, Hits@n, Mean Reciprocal Rank (MRR)를 사용하여 모델을 평가하였으며, SameAs 작업에 적합한 필터링 설정을 적용함.
• 각 모달리티(ℓ, r, n, i)를 개별적으로 제거하여 제거된 모달리티의 영향을 분석하고, 그 기여도를 평가하기 위해 분석 실험을 수행함.

실험 결과

연구 질문

• RQ1 이미지, 수치적 특징, 관계적 구조를 포함한 다중 모달 특징이 단일 모달 기반 모델 대비 SameAs 링크 예측 성능 향상에 기여하는가?
• RQ2 다양한 수준의 엔티티 정렬에서 이미지 + 수치적, 이미지 + 관계적 등의 다양한 모달 조합이 링크 예측 정확도에 미치는 영향은 어떠한가?
• RQ3 PoE 기반 모델을 통해 시각적 및 수치적 특징을 통합할 경우, 단순 연결 또는 앙상블 방법 대비 성능 향상이 이루어지는가?
• RQ4 지식 그래프 간 알려진 정렬 비율에 따라 각 모달리티(이미지, 수치적, 관계적, 잠재적)의 기여도는 어떻게 변화하는가?
• RQ5 다중 모달 지식 그래프 보완 작업에서 PoE 프레임워크가 단순 연결 또는 앙상블 전략보다 더 효과적인가?

주요 결과

• 이미지, 관계적, 수치적 특징을 통합한 PoE-lrni 모델은 FB-DB 쌍에서 72.1 MRR 및 82.0 HITS@10을 기록하여 Concat(2.1 MRR) 및 Ensemble(40.1 MRR) 기준 모델을 크게 뛰어넘었다.
• PoE-rni 모델은 FB-YAGO 쌍에서 63.5 MRR 및 74.6 HITS@10을 기록하여 다양한 지식 그래프 쌍 간에도 뛰어난 성능을 보였다.
• 이미지 및 수치적 특징은 개별적으로 성능 향상에 기여하였으며, 특히 시각적 특징이 뚜렷한 경우에 더 큰 이점이 있었지만, 엔티티 유형에 따라 성능이 다소 변동함.
• 분석 실험 결과, 어떤 하나의 모달리티라도 제거할 경우 성능 저하가 발생하여, 모든 모달리티가 SameAs 예측 작업에 보완적인 정보를 제공하고 있음을 확인함.
• PoE 프레임워크는 모든 평가 지표 및 지식 그래프 쌍에서 Concat 및 Ensemble 기준 모델을 일관되게 뛰어넘었으며, 다중 모달 증거 융합의 효과성을 입증함.
• 성능 향상은 특히 정렬 비율이 높을 경우(예: 80%)에 두드러졌으며, 이는 다중 모달 신호가 정렬 지도가 제한적인 상황에서 특히 유용함을 시사함.