[논문 리뷰] Multimodal Analogical Reasoning over Knowledge Graphs

Ningyu Zhang, Lei Li외 4명|arXiv (Cornell University)|2022. 10. 01.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 지식 그래프 상에서 다중모달 유추적 추론을 제안하며, 시각적, 텍스처적, 구조적 지식을 통합하여 관계 기반 추론을 수행하는 새로운 작업을 도입한다. MARS 데이터셋과 MarKG 지식 그래프를 제시하고, 구조 매핑 이론에 영감을 얻은 모델에 종속적이지 않은 Transformer 프레임워크인 MarT를 제안한다. 이는 명시적 관계 감독 없이도 링크 예측에서 최고 성능을 기록하며, 강력한 일반화 능력과 다중모달 정렬 능력을 입증한다.

ABSTRACT

Analogical reasoning is fundamental to human cognition and holds an important place in various fields. However, previous studies mainly focus on single-modal analogical reasoning and ignore taking advantage of structure knowledge. Notably, the research in cognitive psychology has demonstrated that information from multimodal sources always brings more powerful cognitive transfer than single modality sources. To this end, we introduce the new task of multimodal analogical reasoning over knowledge graphs, which requires multimodal reasoning ability with the help of background knowledge. Specifically, we construct a Multimodal Analogical Reasoning dataSet (MARS) and a multimodal knowledge graph MarKG. We evaluate with multimodal knowledge graph embedding and pre-trained Transformer baselines, illustrating the potential challenges of the proposed task. We further propose a novel model-agnostic Multimodal analogical reasoning framework with Transformer (MarT) motivated by the structure mapping theory, which can obtain better performance. Code and datasets are available in https://github.com/zjunlp/MKG_Analogy.

연구 동기 및 목표

• 시각적, 텍스처적, 구조적 지식 그래프 정보를 통합하여 다중모달 유추적 추론의 격차를 해소하기 위해.
• 명시적 관계 주석 없이도 링크 예측으로서 유추적 추론을 정의하는 새로운 벤치마크 작업을 개발하기 위해.
• 대규모이고 인간 주석이 달린 데이터셋(MARS)과 다중모달 지식 그래프(MarKG)를 구축하여 신경망 모델의 유추적 추론 평가를 위해 사용하기 위해.
• 다중모달 지식 그래프 임베딩 및 사전 훈련된 Transformer 모델의 성능을 새로운 작업에서 평가하기 위해.
• 주의 기반 구조 매핑과 종단 간 학습을 통해 유추적 추론을 향상시키는 모델에 종속적이지 않은 프레임워크인 MarT를 제안하기 위해.

제안 방법

• 작업은 $(e_h, e_t) : (e_q, ?)$로 수식화되며, 엔티티는 다중모달일 수 있고(텍스트, 이미지, 또는 둘 다), MarKG의 배경 지식을 사용해 누락된 대상 엔티티를 예측하는 것이 목표이다.
• MARS 데이터셋은 E-KAR와 BATs에서 유래했으며, Wikidata 엔티티와 LAION-5B에서 확보한 이미지로 보강되었고, 인간 주석이 내재된 유추적 관계를 포함한다.
• MarKG는 엔티티, 관계, 그리고 모ality별 임베딩(텍스트, 이미지)을 통합하여 추론을 위한 다중모달 지식 그래프이다.
• MarT는 관계적 구조에 주의를 기울이고, [R] 토큰을 통해 암시적 관계 모델링을 통해 다중모달 표현을 정렬하는 Transformer 기반 아키텍처를 사용한다.
• 이 프레임워크는 모델에 종속적이지 않으며, 어떤 다중모달 사전 훈련된 Transformer 모델(예: VisualBERT, ViLT, FLAVA, MKGformer)에도 통합될 수 있다.
• 관계 인식 평가에서는 두 가지 지표를 사용한다: 예측된 [R] 토큰에 대한 Hit@k와 정규화된 [R] 표현과 진짜 관계 임베딩 간 유클리드 거리.

실험 결과

연구 질문

• RQ1 신경망은 구조적 지식 그래프 배경을 활용하여 다중모달(텍스트, 이미지) 간의 유추적 추론을 수행할 수 있는가?
• RQ2 다중모달 통합은 단일모달 또는 지식 증강이 없는 기준 모델 대비 유추적 추론 성능을 어떻게 향상시키는가?
• RQ3 종단 간 모델인 MarT는 명시적 관계 감독 없이도 관계적 구조를 얼마나 잘 학습할 수 있는가?
• RQ4 다중모달 유추적 추론에서 주요 실패 유형은 무엇이며, 이는 모달 불균형이나 추상적 개념과 어떻게 관련되는가?
• RQ5 MarKG에서의 사전 훈련은 유래된 유추적 추론 성능을 어떻게 향상시키는가?

주요 결과

• MarT는 MARS에서 모든 기준 모델을 압도하며, MarT_FLAVA는 관계 인식 성능에서 최고를 기록했다(_hits@3: 0.078, 유클리드 거리: 1.380), 반면 MarT_MKGformer는 가장 높은 엔티티 예측 정확도를 달성했다.
• MPT 모델의 성능은 모델 크기와 상관관계가 있으며, 더 큰 혼합 스트림 모델(예: MKGformer)이 더 작은 단일 또는 이중 스트림 모델보다 성능이 뛰어났다.
• MarKG에서의 사전 훈련은 다수의 MPT 기준 모델에서 사전 훈련 및 미세조정 단계에서 일관된 성능 향상을 보이며, 유추적 추론 성능을 크게 향상시켰다.
• [R] 토큰 기반 평가에서는 MarT_FLAVA가 관계 의미를 가장 잘 포착했으며(최소 유클리드 거리: 1.380), 엔티티 예측에서는 MarT_MKGformer에 뒤지지 않았다.
• 오류 분석 결과, 모달 불균형, 추상적 개념(예: 'management'), 비직관적인 관계(예: 'intersection to')는 현재 모델의 주요 과제였다.
• 한 개의 엔티티가 여러 개의 유효한 대상으로 매핑되는 '일대다 문제'는 복잡한 관계 시나리오에서 특히 모델의 일반화 능력을 크게 저해했다.