[논문 리뷰] Building a Large-scale Multimodal Knowledge Base System for Answering Visual Queries

Yuke Zhu, Ce Zhang외 2명|arXiv (Cornell University)|2015. 07. 20.

Multimodal Machine Learning Applications참고 문헌 55인용 수 45

한 줄 요약

이 논문은 재학습 없이도 다양한 시각적 질의—복잡한 시cene 이해 및 이미지 검색을 포함—에 답할 수 있는 확장 가능한 다중모odal 지식기반(KB) 프레임워크를 제안한다. 이는 시각적, 텍스트적, 구조적 데이터를 통합된 확률적 그래픽 모델로 모델링함으로써 달성된다. 이 시스템은 1차 순서 추론과 데이터베이스 최적화를 활용하여 수백만 개의 변수를 수시간 내에 처리하는 대규모 마르코프 랜덤 필드(MRF) 표현을 사용해 인식 및 검색 작업에서 경쟁적인 성능을 달성한다.

ABSTRACT

The complexity of the visual world creates significant challenges for comprehensive visual understanding. In spite of recent successes in visual recognition, today's vision systems would still struggle to deal with visual queries that require a deeper reasoning. We propose a knowledge base (KB) framework to handle an assortment of visual queries, without the need to train new classifiers for new tasks. Building such a large-scale multimodal KB presents a major challenge of scalability. We cast a large-scale MRF into a KB representation, incorporating visual, textual and structured data, as well as their diverse relations. We introduce a scalable knowledge base construction system that is capable of building a KB with half billion variables and millions of parameters in a few hours. Our system achieves competitive results compared to purpose-built models on standard recognition and retrieval tasks, while exhibiting greater flexibility in answering richer visual queries.

연구 동기 및 목표

• 각각의 새로운 작업에 대해 분류기 재학습 없이도 다양한 이질적인 질의에 대해 민첩하고 일반적인 시각적 이해를 가능하게 하기.
• 시각적, 텍스트적, 구조적 데이터를 상호 연결된 풍부한 관계적 의존성을 포함하여 통합하는 대규모 다중모달 지식기반 구축의 확장성 문제 해결.
• 이산 및 연속 변수를 모두 포함하는 거대한 다중모달 데이터셋에서의 통합 학습 및 추론을 수행할 수 있는 시스템 개발.
• 통합된 KB 프레임워크가 표준 비전 벤치마크에서 전문화된 모델과 경쟁하거나 그 이상의 성능을 보일 수 있음을 입증하기.

제안 방법

• 시각적, 텍스트적, 구조적 데이터를 이산 및 연속 변수를 혼합한 대규모 마르코프 랜덤 필드(MRF)로 표현한다.
• 시각적 질의를 KB 상의 확률적 질의로 매핑하는 논리적 형식으로 표현하여, 근사 확률 계산을 통한 통합 추론을 가능하게 한다.
• 데이터베이스 기법과 고속 샘플링을 활용하여 추론을 수백만 개의 변수와 400만 개의 파rameter로 확장한다.
• 계산 복잡도를 감소시키고 대규모 데이터에서 효율적인 학습을 가능하게 하기 위해 1차 순서 확률적 추론 방법을 활용한다.
• SUN 데이터셋에서 학습된 시나리오 카테고리, 특성, 기능 간의 복잡한 관계를 포괄하는 통합 MRF 모델을 사용한다.
• 요소 간 상관관계를 모델링하기 위해 요소 가중치를 적용하며, 데이터에서 학습된 강한 양/음성 관계를 반영한다(예: '해변' ↔ '맑음', '철도선로' ↔ '부정적 관계').

실험 결과

연구 질문

• RQ1 통합 지식기반 프레임워크는 재학습 없이도 단순한 이미지 검색에서부터 복잡한 추론에 이르기까지 다양한 시각적 질의에 답할 수 있는가?
• RQ2 이산 및 연속 시각적·텍스트 데이터를 혼합하여 처리하는 대규모 다중모달 지식기반을 효율적으로 구축할 수 있는가?
• RQ3 확률적 지식기반 모델이 표준 비전 인식 및 검색 작업에서 전문화된 모델을 능가하거나 그에 맞추어질 수 있는가?
• RQ4 특성, 기능, 시나리오 카테고리 간의 관계적 의존성은 어떻게 형성되며, 복잡한 질의의 추론에 기여하는가?

주요 결과

• 목적 전용 모델과 비교해 표준 인식 및 검색 작업에서 경쟁적인 성능을 달성하며, 특히 상위 순위가 낮은 검색 결과에서 뛰어난 성능을 보인다.
• 이미지 검색 작업에서, KB 모델은 k > 5를 초과하는 검색 순위에서 평균 정밀도가 안정적으로 유지되며, 검색 순위가 증가함에 따라 최근접 이웃 기반 베이스라인(NNall 및 NNmean)을 능가한다.
• 관계 지식을 활용함으로써 노이즈가 많거나 약한 시각 신호에 대해 강건성을 확보하여, 낮은 순위의 검색에서 잘못된 양성 결과를 감소시킨다.
• 학습된 KB는 강력하고 해석 가능한 관계를 포착한다: 예를 들어 '철도선로'는 '눈 오는 산'와 강한 부정적 상관관계(가중치 -3.86)를 가지며, '해변'은 '맑음'과 강하게 연관되어 있다(가중치 5.65).
• 시스템은 단 몇 시간 내에 5억 개의 변수와 400만 개의 파rameter를 가진 KB를 구축하였으며, 이는 이전 연구(Zhu 등, 2014)보다 4개의 지수 차수 더 크고 학습 시간도 절반 이하로 줄였다.
• 정성적 결과는 모델이 복수의 레이블(특성 및 기능)을 동시에 정확하게 추론함을 보여주며, 시각적 예제에서 6개의 테스트 이미지 중 4개에서 정확한 예측을 하였다.