[논문 리뷰] Unlocking Multimodal Document Intelligence: From Current Triumphs to Future Frontiers of Visual Document Retrieval

Yibo Yan, Jiahao Huo외 13명|arXiv (Cornell University)|2026. 02. 23.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

이 논문은 다중모달 대형 언어 모델 시대의 시각적 문서 검색(VDR)을 조사하고 벤치마크, 방법론(임베딩 모델, 리랭커, RAG/에이전트 시스템), 그리고 향후 과제를 개관한다.

ABSTRACT

With the rapid proliferation of multimodal information, Visual Document Retrieval (VDR) has emerged as a critical frontier in bridging the gap between unstructured visually rich data and precise information acquisition. Unlike traditional natural image retrieval, visual documents exhibit unique characteristics defined by dense textual content, intricate layouts, and fine-grained semantic dependencies. This paper presents the first comprehensive survey of the VDR landscape, specifically through the lens of the Multimodal Large Language Model (MLLM) era. We begin by examining the benchmark landscape, and subsequently dive into the methodological evolution, categorizing approaches into three primary aspects: multimodal embedding models, multimodal reranker models, and the integration of Retrieval-Augmented Generation (RAG) and Agentic systems for complex document intelligence. Finally, we identify persistent challenges and outline promising future directions, aiming to provide a clear roadmap for future multimodal document intelligence.

연구 동기 및 목표

• MLLM 시대의 VDR 벤치마크 환경과 데이터 특성의 특징을 규명한다.
• 임베딩 모델, 리랭커 모델, 그리고 RAG 및 에이전트형 시스템과의 통합으로 방법론을 분류한다.
• 다국어 지원, 추론 중심의 검색 및 효율성에서의 현재 도전을 식별한다.
• 다중모달 문서 인텔리전스의 미래 최전선 로드맵을 제시한다.

제안 방법

• 쿼리 q와 문서 d를 포함한 형식적 VDR 정의와 late-interaction 점수 계산을 제시한다.
• 다중 벡터 표현 및 학습 패러다임을 포함한 임베딩 모델의 동향을 검토한다.
• 정밀 랭킹을 위한 리랭커 모델 설계와 크로스 인코더 아키텍처를 요약한다.
• 문서 지능을 위한 RAG 파이프라인과 에이전트형 시스템에서 임베딩과 리랭커의 통합을 설명한다.
• 점-포인트/페어/리스트와이즈 학습 패러다임과 목적 함수(예: InfoNCE)를 논의한다.
• 모델, 데이터, 학습 차원의 기술 혁신과 효율성 고려사항을 강조한다.

실험 결과

연구 질문

• RQ1 LLM 시대의 VDR 벤치마크 및 데이터 생태계는 무엇인가?
• RQ2 VDR의 핵심 방법론 범주는 무엇이며, MLLMs와 함께 어떻게 발전하는가?
• RQ3 RAG 파이프라인과 에이전트형 시스템이 복잡한 문서 지능 작업에 어떻게 영향을 미치는가?
• RQ4 다국어 및 추론 중심의 VDR에서 주요 도전과제와 향후 방향은 무엇인가?

주요 결과

• 최근 VDR 벤치마크가 급상승했으며 데이터세트는 수천에서 수십만의 쿼리와 문서를 포함한다.
• 임베딩 모델은 점점 더 대형 다중모달 언어 모델 백본과 다중 벡터 표현을 사용하여 세밀한 검색을 가능하게 한다.
• 리랭커 모델은 크기와 다중모달 기능이 커지고 있지만 다수는 영어 중심으로 남아 있으며 몇 가지 다국어 구현이 있는 경우를 제외하면 그렇다.
• RAG 파이프라인과 에이전트 기반 시스템이 VDR을 정적 검색에서 동적이고 추론 주도형 워크플로우로 전환하고 있다.
• 평가는 일반적으로 nDCG, Recall과 같은 표준 IR 지표에 의존하며, 일부 벤치마크는 생성 작업의 다운스트림 정확도 및 F1를 포함한다.