[논문 리뷰] From Training-Free to Adaptive: Empirical Insights into MLLMs' Understanding of Detection Information

Qirui Jiao, Daoyuan Chen외 3명|arXiv (Cornell University)|2024. 01. 31.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 객체 탐지기와 OCR에서의 탐지 정보를 Multimodal LLMs(LLaVA-1.5 기반)에 training-free, retraining, 및 fine-tuning 전략으로 주입하는 것을 실증적으로 연구하고, detection info가 포함된 LoRA-augmented fine-tuning 방법이 대부분의 벤치마크에서 강한 이득을 가져다 준다는 것을 보여준다.

ABSTRACT

Despite the impressive capabilities of Multimodal Large Language Models (MLLMs) in integrating text and image modalities, challenges remain in accurately interpreting detailed visual elements. Vision detection models excel at recognizing fine-grained image details, prompting researchers to use them to enhance MLLMs. One effective strategy is to infuse detection information in text format, which has proven simple and effective. However, most studies utilize this method without training, leaving the potential of adaptive training largely unexplored. Adaptive training could significantly enhance MLLMs' comprehension of unique inputs while filtering out irrelevant information. This paper addresses the crucial question: How does training impact MLLMs' understanding of infused textual detection information? We systematically experiment with various representative models to evaluate the effects of training-free, retraining, and fine-tuning strategies. We also examine the influence of training on MLLMs' original abilities and the interchangeability of detection models. Our findings indicate that fine-tuning a pre-trained MLLM to incorporate textual detection information delivers superior results compared to training-free and retraining methods, improving performance by 6.71% across 10 widely recognized benchmarks. Furthermore, fine-tuning enables MLLMs to retain performance enhancements even when detection models are swapped, indicating improved understanding of formatted textual data. We release our codes to support further exploration of fusion strategies for vision detection models and the enhancement of MLLMs' fine-grained multimodal capabilities.

연구 동기 및 목표

• 미세한 시각적 이해 향상과 MLLMs의 환각 감소에 대한 동기 부여 및 격차 해소.
• 오프-더-셀프 탐지 출력(객체 레이블, 좌표, OCR)을 MLLMs에 융합하는 방법 조사.
• 탐지 주입이 MLLMs의 원래 능력에 미치는 영향을 평가.
• 탐지 모델 교체(폐쇄집합에서 오픈 세트로)의 모듈성 확보 및 로버스트성 관찰.

제안 방법

• 탐지 출력을 텍스트 임베딩으로 임베딩하고 LLM 이전에 ViT 이미지 특징과 연결(concatenate).
• 세 가지 융합 전략 비교: Training-free Infusion (TFI), LoRA Augmented Retraining (LAR), LoRA Augmented Fine-tuning (LAF).
• 객체 탐지를 위해 DINO(또는 오픈세트 대안으로 GroundingDINO) 및 OCR을 위해 PaddleOCRv2를 사용하여 텍스트 탐지 프롬프트 생성.
• CLIP-ViT-L-336px의 이미지 특징을 LLM 시맨틱 공간으로 매핑하기 위해 2-layer MLP 사용.
• 열 가지 멀티모달 벤치마크에서 평가하고 정규화된 집계 점수(mean s_norm) 계산.
• 탐지 정보 여부에 따른 모델 동작을 비교하여 ViT 특징과 탐지 큐 간의 균형 이해.

실험 결과

연구 질문

• RQ1 탐지 정보를 직접 MLLMs에 입력하고 재학습 없이 성능 향상을 얻을 수 있는가?
• RQ2 재학습과 미세 조정이 탐지 정보와 상호작용하여 MLLM의 역량에 어떤 영향을 미치는가?
• RQ3 탐지 모델(DINO를 GroundingDINO로 교체)이 성능과 로버스트성에 어떤 영향을 주는가?

주요 결과

• Training-free infusion은 혼합 결과; POPE와 MME-Cognition에서 일부 이득이나 벤치마크 전반에 걸쳐 불안정성.
• LoRA Augmented Retraining (LAR) 은 여러 벤치마크에서 향상시키지만 탐지 정보에 의존하는 경향으로 ViT 특징 대비 이미지 수준 작업에서 악화될 수 있음.
• LoRA Augmented Fine-tuning (LAF) 가 최상의 전반적 성능을 달성, 9/10 벤치마크에서 LLaVA-1.5 및 다수의 SOTA 모델을 능가, VQA 및 OCR 관련 작업에서 개선.
• Replacing DINO with GroundingDINO demonstrates maintained or improved performance, confirming modularity and open-set detection benefits.
• OCR 및 객체 탐지 큐는 정확한 계산, 위치 지정, 텍스트 추출을 가능하게 하여 객체 중심 및 텍스트 관련 질의에서 환각 감소.