[논문 리뷰] Multi-Modal Knowledge Graph Construction and Application: A Survey

Xiangru Zhu, Zhixu Li외 6명|arXiv (Cornell University)|2022. 02. 11.

Advanced Graph Neural Networks인용 수 15

한 줄 요약

이 종합 검토는 텍스트와 이미지를 통합하는 다중모달 지식 그래프(MMKGs)에 대한 포괄적인 개요를 제공하며, 구축 과제, 다중모달 작업 응용, 그리고 열린 연구 문제를 다룹니다. 이 논문은 기호를 시각 데이터에 기반화하는 방법을 체계적으로 분석하고, 실제 응용에서 MMKGs의 성능을 평가하며, 품질, 확장성, 복잡한 상관관계 기반화 측면에서의 핵심 격차를 규명합니다.

ABSTRACT

Recent years have witnessed the resurgence of knowledge engineering which is featured by the fast growth of knowledge graphs. However, most of existing knowledge graphs are represented with pure symbols, which hurts the machine's capability to understand the real world. The multi-modalization of knowledge graphs is an inevitable key step towards the realization of human-level machine intelligence. The results of this endeavor are Multi-modal Knowledge Graphs (MMKGs). In this survey on MMKGs constructed by texts and images, we first give definitions of MMKGs, followed with the preliminaries on multi-modal tasks and techniques. We then systematically review the challenges, progresses and opportunities on the construction and application of MMKGs respectively, with detailed analyses of the strength and weakness of different solutions. We finalize this survey with open research problems relevant to MMKGs.

연구 동기 및 목표

• 순수 기호 기반 지식 그래프가 현실 세계 이해를 표현하는 데 한계가 있음을 해결하기 위해 시각적 모odal을 통합하고자 한다.
• MMKG 구축 과정에서 발생하는 과제, 특히 기호 기반화, 이미지 품질, 확장성 등의 과제를 특정하고 분석하고자 한다.
• 교차모달 검색, 대화 시스템, 객체 검출과 같은 후행 다중모달 작업에 MMKG을 적용하는 방식을 탐색하고자 한다.
• 복잡한 기호 기반화, 품질 제어, 대규모 MMKG 구현을 위한 효율성 측면에서의 열린 문제를 부각하고자 한다.
• 기존 MMKG을 체계적으로 검토하여, 그 구축 방법을 비교하고 다양한 접근 방식의 강점과 약점을 평가하고자 한다.

제안 방법

• MMKG 구축을 두 방향으로 분류: 이미지 → 기호(이미지 레이블링) 및 기호 → 이미지(기호의 시각적 데이터 기반화).
• 비전-언어 사전학습, 시각-정서적 임베딩, 대비 학습 기반의 다중모달 기법을 검토하여 텍스트와 이미지 표현 간의 정렬을 도모한다.
• 객체 검출, 이미지 설명 생성, 엔티티 연결을 포함한 MMKG 구축 파이프라인을 분석하여 시각적 데이터와 기호 데이터를 연결한다.
• 교차모달 검색, 대화 시스템, 의료 영상과 같은 작업에서 시각적 및 텍스트 기반 지식을 활용하여 MMKG의 응용을 평가한다.
• 이미지의 관련성, 일관성, 희귀 또는 추상적 엔티티의 커버리지 기반으로 MMKG 품질 평가 프레임워크를 제안한다.
• 대규모 멀티미디어 데이터 처리의 효율성 과제를 논의하고, 확장 가능한 MMKG 구축 및 실시간 추론을 위한 고려사항을 제안한다.

실험 결과

연구 질문

• RQ1 지식 그래프의 기호 기반 지식이 이미지나 영상과 같은 시각적 데이터에 효과적으로 기반화될 수 있는 방법은 무엇인가요?
• RQ2 이미지의 관련성과 일관성 측면에서 고려할 때, 대규모 고품질 MMKG을 구축하는 데 있어 핵심 과제는 무엇인가요?
• RQ3 MMKG는 교차모달 검색 및 대화 시스템과 같은 후행 다중모달 응용에서 성능 향상에 어떻게 기여할 수 있나요?
• RQ4 서브그래프나 관계 경로와 같은 복잡한 기호 기반 지식을 시각 콘텐츠에 기반화하는 데 있어 열린 문제는 무엇인가요?
• RQ5 실제 구현을 위해 MMKG 구축 및 온라인 추론의 효율성과 확장성을 어떻게 향상시킬 수 있나요?

주요 결과

• MMKG는 엔티티 및 개념의 시각적 기반화를 가능하게 하여 텍스트 생성 및 관계 추출과 같은 후행 작업에서 성능을 크게 향상시킵니다.
• MMKG에서 이미지 품질 문제는 흔히 발생하며, 대표적인 문제로는 잘못된 할당(예: '어둠의 숲'이 아닌 '은하계를 떠도는 지구'를 표시함), 추상적 개념(예: '자기중심성')에 대한 관련 없는 이미지, 그리고 유사한 엔티티 간 혼동 등이 있습니다.
• 가족 관계를 포함한 서브그래프와 같은 복잡한 기호 지식의 기반화 문제는 일관되고 다중관계 기반의 이미지 정렬이 필요하기 때문에 여전히 주요 과제로 남아 있습니다.
• 확장성은 핵심적 장애물입니다: MMKG 구축은 수십만 시간의 CPU 시간이 소요될 수 있으며(예: NEIL 시스템), 영상 기반 기반화는 이 문제를 악화시킵니다.
• 의료 영상과 텍스트 기반 설명을 통합함으로써, MMKG는 코로나19 대응 의료 대화 시스템과 같은 실제 응용에서 정확도를 향상시키고 신체적 접촉을 줄이는 데 기여합니다.
• 기존 MMKG는 내용과 구축 방법론 측면에서 다양성이 크며, 통일된 표준이 없어, 향후 평가 및 벤치마킹 프레임워크 개선이 시급합니다.