[논문 리뷰] RegionBLIP: A Unified Multi-modal Pre-training Framework for Holistic and Regional Comprehension

Qiang Zhou, Chaohui Yu외 4명|arXiv (Cornell University)|2023. 08. 03.

Natural Language Processing Techniques인용 수 4

한 줄 요약

RegionBLIP는 다중 모odal 대규모 언어 모델(MLLMs)이 이미지의 전체적 요소와 영역적 객체, 그리고 포인트 클라우드에서의 영역적 객체를 모두 이해할 수 있도록 하는 통합된 다중 모달 프리트레이닝 프레임워크를 제안한다. 위치 보조 특징 추출(PaFE) 모듈을 사용하여 텍스트에 대응하는 영역 특징을 생성하고, BLIP-2의 Q-Former를 동결하면서 다중 모달 전용 LoRA 파rameter만 점진적으로 미세조정함으로써, 거대한 이미지-텍스트 데이터로의 재학습 없이도 이미지-영역, 포인트 클라우드, 포인트 클라우드-영역 캡셔닝 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this work, we investigate extending the comprehension of Multi-modal Large Language Models (MLLMs) to regional objects. To this end, we propose to extract features corresponding to regional objects as soft prompts for LLM, which provides a straightforward and scalable approach and eliminates the need for LLM fine-tuning. To effectively extract regional features from regular image features and irregular point cloud features, we present a novel and unified position-assisted feature extraction module. Furthermore, training an MLLM from scratch is highly time-consuming. Thus, we propose incrementally extending existing pre-trained MLLMs to comprehend more modalities and the regional objects of those modalities. Specifically, we freeze the Q-Former from BLIP-2, an impressive MLLM, and optimize the modality-specific Lora parameters in Q-Former and LLM for each newly introduced modality. The freezing of the Q-Former eliminates the need for extensive pre-training on massive image-text data. The freezed Q-Former pre-trained from massive image-text data is also beneficial for the pre-training on image-region-text data. We name our framework RegionBLIP. We pre-train RegionBLIP on image-region-text, point-cloud-text, and point-cloud-region-text data. Experimental results verify that \Ours{} can preserve the image comprehension capability of BILP-2 and further gain a comprehension of the newly introduced point cloud modality and regional objects. The Data, Code, and Pre-trained models will be available at https://github.com/mightyzau/RegionBLIP.

연구 동기 및 목표

• MLLMs가 종합적 이미지 이해를 넘어서 이미지와 포인트 클라우드 내 영역적 객체를 이해할 수 있도록 확장하는 것.
• 새로운 모달리티(예: 포인트 클라우드, 영역적 객체)를 추가로 통합하기 위해 기존의 Q-Former를 동결하고 다중 모달 전용 LoRA 파rameter만 미세조정하는 점진적 미세조정 방식을 제안하여 MLLMs의 프리트레이닝에 따른 높은 계산 비용 문제를 해결하는 것.
• 기존의 영역 이해 방법이 언어 기반의 위치 기술에 의존하여 생성이 어려우며 LLM의 재학습이 필요로 하는 점을 해결하는 것.
• 일반적인 이미지 특징과 비정형 포인트 클라우드 특징에서 모두 영역 특징을 추출할 수 있는 확장 가능한 통합 방법을 개발하는 것.
• 오픈 월드 환경에서의 영역 이해 학습 및 평가를 지원하기 위해 대규모 오픈소스 데이터셋 RegionCap-10M을 공개하는 것.

제안 방법

• 공간적 위치 인코딩을 사용하여 일반적인 이미지 특징과 비정형 포인트 클라우드 특징에서 모두 영역 특징을 추출할 수 있는 위치 보조 특징 추출(PaFE) 모듈을 제안한다.
• PaFE 모듈을 활용해 텍스트에 대응하는 영역 특징을 생성하고, 이를 소프트 시각 프롬프트로 LLM에 입력하여 언어 기반의 위치 기술 없이도 직접적인 영역 이해를 가능하게 한다.
• BLIP-2의 Q-Former를 동결하고, 새로운 모달리티(예: 포인트 클라우드, 영역적 객체)에 대해 다중 모달 전용 LoRA 파arameter만 미세조정하는 점진적 프리트레이닝 기반의 학습 방식을 도입한다.
• 기존에 프리트레이닝된 BLIP-2 가중치를 활용하여 이미지 이해 능력을 유지하면서도 최소한의 추가 학습으로 새로운 모달리티로의 확장이 가능하도록 한다.
• CC3M, C12M, COYO-700M 등의 기존 이미지 데이터셋에서 경계 상자와 캡셔닝 쌍을 추출하여 웹 스케일의 상자-텍스트 쌍 데이터셋인 RegionCap-10M을 구축한다.
• 대비 손실과 언어 모델링 손실을 사용하여 이미지-영역-텍스트, 포인트 클라우드-텍스트, 포인트 클라우드-영역-텍스트 데이터에서 RegionBLIP를 학습함으로써 영역 특징과 텍스트 기술 간의 정렬을 도모한다.

실험 결과

연구 질문

• RQ1 일반적인 이미지와 포인트 클라우드와 같은 다양한 모달리티에서 종합적 이미지 이해와 영역적 객체 이해를 동시에 효과적으로 수행할 수 있는 통합 프레임워크가 가능한가?
• RQ2 일반적인 이미지 특징과 비정형 포인트 클라우드 특징에서 LLM에 활용 가능한 효율적이고 일관된 영역 특징을 어떻게 추출할 수 있는가?
• RQ3 BLIP-2의 Q-Former를 동결하고 다중 모달 전용 LoRA 파arameter만 미세조정하는 방식이 이미지 이해 능력을 유지하면서도 새로운 모달리티로의 효율적 확장이 가능한가?
• RQ4 위치 정보 지원이 없는 기존 기반 방법에 비해 제안된 PaFE 모듈이 영역 이해 성능 향상에 얼마나 기여하는가?
• RQ5 RegionCap-10M처럼 대규모 오픈소스 데이터셋이 오픈 월드 환경에서 MLLMs의 영역 이해 능력 향상에 상당한 기여를 할 수 있는가?

주요 결과

• RegionBLIP는 BLIP-2의 이미지 이해 성능을 그대로 유지하며, COCO 캡셔닝 벤치마크에서 CIDEr 점수 113.6, RefCOCO에서 64.2를 기록하여 효과적인 지식 전이를 입증한다.
• PaFE 모듈은 영역 이해 능력을 크게 향상시킨다: PaFE를 사용할 경우 RefCOCO에서 CIDEr 점수 63.5(비대조군 44.7)를 기록했고, Objaverse에서는 112.7(비대조군 84.7)를 달성한다.
• 포인트 클라우드-영역 캡셔닝에 대해 ReferScannet 검증 세트에서 CIDEr 점수 59.3을 기록하여 3D 포인트 클라우드 데이터에 대한 뛰어난 일반화 능력을 입증한다.
• 동결된 Q-Former와 다중 모달 전용 LoRA 튜닝을 통한 점진적 학습 방식은 거대한 이미지-텍스트 데이터로의 재학습 없이도 새로운 모달리티로의 효율적 확장이 가능함을 보여준다.
• 570만 장의 이미지와 1,080만 개의 영역 주석을 포함한 RegionCap-10M라는 새로운 대규모 오픈소스 데이터셋을 공개하여 향후 영역 이해 연구를 지원한다.
• 제거 실험 결과, PaFE가 포인트 클라우드 캡처닝과 포인트 클라우드-영역 캡처닝을 명확히 구분하는 데 필수적임을 확인하였으며, PaFE가 없는 경우 Objaverse CIDEr 점수는 25점 감소한다.