[논문 리뷰] LLaVA-UHD: an LMM Perceiving Any Aspect Ratio and High-Resolution Images

Ruyi Xu, Yuan Yao외 8명|arXiv (Cornell University)|2024. 03. 18.

Medical Imaging Techniques and ApplicationsMedicine인용 수 3

한 줄 요약

LLaVA-UHD는 모듈화된 이미지 인코딩 전략, 시각 토큰 압축, 공간 토큰 정렬을 통해 다양한 종횡비와 고해상도 이미지에 대한 효율적인 인식을 가능하게 하는 대규모 다중모态 모델이다. 이 모델은 TextVQA 정확도를 6.4점 향상시키며, LLaVA-1.5의 계산량의 94%로 672×1088 해상도를 지원하여, 2–3배 더 많은 데이터로 훈련된 모델들을 능가한다.

ABSTRACT

Visual encoding constitutes the basis of large multimodal models (LMMs) in understanding the visual world. Conventional LMMs process images in fixed sizes and limited resolutions, while recent explorations in this direction are limited in adaptivity, efficiency, and even correctness. In this work, we first take GPT-4V and LLaVA-1.5 as representative examples and expose systematic flaws rooted in their visual encoding strategy. To address the challenges, we present LLaVA-UHD, a large multimodal model that can efficiently perceive images in any aspect ratio and high resolution. LLaVA-UHD includes three key components: (1) An image modularization strategy that divides native-resolution images into smaller variable-sized slices for efficient and extensible encoding, (2) a compression module that further condenses image tokens from visual encoders, and (3) a spatial schema to organize slice tokens for LLMs. Comprehensive experiments show that LLaVA-UHD outperforms established LMMs trained with 2-3 orders of magnitude more data on 9 benchmarks. Notably, our model built on LLaVA-1.5 336x336 supports 6 times larger (i.e., 672x1088) resolution images using only 94% inference computation, and achieves 6.4 accuracy improvement on TextVQA. Moreover, the model can be efficiently trained in academic settings, within 23 hours on 8 A100 GPUs (vs. 26 hours of LLaVA-1.5). We make the data and code publicly available at https://github.com/thunlp/LLaVA-UHD.

연구 동기 및 목표

• 기존 LMM가 고정 크기 및 고정 종횡비의 시각 인코딩으로 인해 고해상도 및 임의의 종횡비 이미지를 처리하는 데에 한계를 가진다는 점을 해결하기 위해.
• GPT-4V 및 LLaVA-1.5와 같은 선도적 모델의 시각 인코딩 전략에 내재된 체계적인 결함을 규명하고, 정확성 문제와 환각 현상의 원인을 폭 드러내기 위해.
• 시각 인코더의 능력을 유지하면서 다양한 이미지 입력을 지원할 수 있는 확장성 있고 효율적이며 적응 가능한 LMM 아키텍처를 개발하기 위해.
• 학술적 제약 조건 내에서 효과적인 지시 훈련과 훈련을 수행할 수 있도록 하여 기준 모델 대비 훈련 시간을 단축시키기 위해.

제안 방법

• 원본 해상도 이미지를 겹치지 않는 가변 크기의 조각들로 나누는 이미지 모듈화 전략을 도입하여 팯딩과 왜곡을 방지한다.
• 시각 인코더에서 생성된 시각 토큰 수를 줄이기 위해 압축 모듈을 활용하여 LLM 추론 비용을 최소화한다.
• 이미지 조각 간의 상대적 위치를 인코딩하기 위해 공간 스키마를 적용하여 LLM이 공간 레이아웃을 추론할 수 있도록 한다.
• 퍼세이버 리샘플러를 사용해 압축된 조각 토큰의 시각 특징을 집계하고 이를 LLM에 입력한다.
• 시각 인코더 파라미터에 대해 지시 훈련을 통해 엔드 투 엔드로 모델을 훈련시켜 다양한 이미지 분포에 적응할 수 있도록 한다.
• 고정 크기 제약을 피하고 사전 훈련된 CLIP-ViT 인코더와의 호환성을 유지함으로써 고해상도 입력을 지원한다.

Figure 1: Experimental results of GPT-4V in identifying numbers of objects. Note that the dashed lines in (a) are for illustration purposes only, and not presented to GPT-4V.

실험 결과

연구 질문

• RQ1 GPT-4V 및 LLaVA-1.5와 같은 모델에서 고해상도 이미지 이해 시 정확성 실패의 근본 원인은 무엇인가?
• RQ2 모듈화된 이미지 인코딩 전략이 임의의 종횡비와 고해상도 이미지를 효율적이고 왜곡 없이 처리하는 데에 기여할 수 있는가?
• RQ3 이미지 조각 토큰을 압축하고 공간적으로 정렬함으로써 다운스트림 다중모달 추론 성능에 어떤 영향을 미치는가?
• RQ4 시각 인코더 파라미터에 대한 지시 훈련이 다양한 이미지 입력 간 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ5 기존 LMM보다 훨씬 적은 훈련 데이터와 계산 자원으로도 최신 성능을 달성할 수 있는가?

주요 결과

• LLaVA-UHD는 LLaVA-1.5 대비 TextVQA에서 6.4점의 정확도 향상을 기록하여 더욱 뛰어난 미세한 시각 이해 능력을 입증한다.
• LLaVA-1.5가 요구하는 추론 계산량의 94%만으로 672×1088 해상도 이미지를 처리할 수 있어, 거의 동일한 비용으로 더 높은 해상도를 지원한다.
• 9개 벤치마크에서 2–3개의 순위 상승된 데이터로 훈련된 기존의 LMM들을 능가하며, 높은 데이터 효율성을 보여준다.
• 8개의 A100 GPU에서 23시간으로 훈련 시간을 단축시켜 LLaVA-1.5의 26시간 대비 훈련 효율성이 향상됨을 확인했다.
• 극단적인 종횡비에서도 강력한 성능을 유지하며, 이미지 종횡비가 정사각형에서 벗어날수록 성능 향상이 더 두드러진다.
• 기계적 분석 결과, GPT-4V 및 LLaVA-1.5와 같은 모델에서 시각 인코딩 전략이 환각과 정확성 실패의 주요 원인임을 규명했다.

Figure 2: Results on probing GPT-4V via continuously changing image resolutions.