[논문 리뷰] u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model

Jinjin Xu, Liwu Xu외 6명|arXiv (Cornell University)|2023. 11. 09.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

u-LLaVA는 작업 전용 전문 모델을 연결하기 위해 대규모 언어 모델을 인지적 다리로 활용하는 통합형 다중모달 LLM 프레임워크를 제안한다. 이는 환각 현상과 작업 간 간섭을 감소시킨다. 다양한 공공 데이터셋—특히 15K개의 주목할 만한 지시어를 포함한 신규 데이터셋—을 재구성함으로써 시각 작업, 예를 들어 지정, 분할, 캡셔닝 등에서 최신 기술 수준의 성능을 달성하며, 전체 코드와 모델을 공개한다.

ABSTRACT

Recent advancements in multi-modal large language models (MLLMs) have led to substantial improvements in visual understanding, primarily driven by sophisticated modality alignment strategies. However, predominant approaches prioritize global or regional comprehension, with less focus on fine-grained, pixel-level tasks. To address this gap, we introduce u-LLaVA, an innovative unifying multi-task framework that integrates pixel, regional, and global features to refine the perceptual faculties of MLLMs. We commence by leveraging an efficient modality alignment approach, harnessing both image and video datasets to bolster the model's foundational understanding across diverse visual contexts. Subsequently, a joint instruction tuning method with task-specific projectors and decoders for end-to-end downstream training is presented. Furthermore, this work contributes a novel mask-based multi-task dataset comprising 277K samples, crafted to challenge and assess the fine-grained perception capabilities of MLLMs. The overall framework is simple, effective, and achieves state-of-the-art performance across multiple benchmarks. We also make our model, data, and code publicly accessible at https://github.com/OPPOMKLab/u-LLaVA.

연구 동기 및 목표

• 하류 작업 적응 과정에서 다중모달 LLM(MLLM)의 환각 현상과 작업 간섭을 해결한다.
• 비디오 지정, 분할, 캡셔닝과 같은 다양한 다중모달 작업을 하나의 확장 가능한 프레임워크로 통합한다.
• 특히 주목할 만한 분할과 같은 주관적인 작업을 위해 공공 데이터셋을 재구성하고 개선하여 효율적이고 재현 가능한 훈련을 가능하게 한다.
• 지상 진술 애너테이션에 대한 종단 간 미세조정이 필요 없이 LLM의 세계 지식을 활용해 전문 모델을 안내한다.
• 단순성과 모듈성을 유지하면서도 다양한 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• LLaVA 아키텍처에 모odal 정렬 및 다중작업 모듈을 통합하여 LLM을 중심 추론 핵심으로 활용한다.
• BLIP2와 GPT를 사용하여 지시어 품질과 작업 특이성을 향상시키기 위해 공공 데이터셋—특히 주목할 만한 분할을 위한 신규 Salient-15K 데이터셋—을 재구성하고 재정렬한다.
• LLM을 사용해 쿼리에서 암시적 레이블 정보를 해석하고, 지정 및 분할 작업을 위한 전문 모델(GroundingDINO, SAM)을 안내한다.
• 교차 검증 워크플로우를 구현: LLM을 통한 바운딩 박스 생성과 mask2bbox 출력을 비교하여 정확도를 향상시킨다.
• 모든 파라미터 재학습 없이도 효율적인 적응을 위해 LoRA 미세조정을 적용한다.
• 작업 전용 모듈(예: 지정, 분할)을 분리하고 LLM의 추론 능력을 통해 연결함으로써 간섭을 최소화한다.

실험 결과

연구 질문

• RQ1 LLM을 전문 모델 간 추론 다리로 활용함으로써 통합형 MLLM 프레임워크가 환각 현상과 작업 간섭을 줄일 수 있는가?
• RQ2 특히 주목할 만한 분할과 같은 주관적인 작업을 위한 공공 데이터셋의 재구성 및 개선이 모델 일반화 및 성능에 어떤 영향을 미치는가?
• RQ3 바운딩 박스나 분할 마스크에 대한 직접적 지도 없이 LLM이 전문 모델(GroundingDINO, SAM)을 얼마나 잘 안내할 수 있는가?
• RQ4 간단하고 모듈화된 프레임워크가 VQA, 지정, 분할, 영상 캡셔닝과 같은 다양한 다중모달 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 LLM에서 생성한 예측과 mask2bbox에서 유도된 예측 간의 교차 검증 워크플로우가 지정 정확도를 어떻게 향상시키는가?

주요 결과

• u-LLaVA는 RefCOCOg 테스트 스플릿에서 Prec@0.5 72.52%를 기록하며, 훈련 시 지상 진술 바운딩 박스를 사용하는 Shikra와 같은 기존 방법들을 능가한다.
• Salient-15K 데이터셋을 사용하여 DUT-OMRON 주목할 만한 객체 검출 벤치마크에서 mAP 65.46%를 달성하여 주관적인 주목성 이해도 향상을 입증한다.
• 제거 실험 결과, 스테이지 II 훈련에 모든 유형의 데이터셋(지시, 의미론적, 주목할 만한, 캡셔닝)을 포함할 경우 일반화 능력이 가장 우수하며, 전체 미세조정 조건에서 RefCOCOg에서 mAP 75.63%를 기록한다.
• LLM에서 파싱한 예측과 mask2bbox에서 유도된 예측 간의 교차 검증 워크플로우가 지정의 강건성을 향상시켜 종단 간 지정 훈련 없이도 높은 성능을 달성할 수 있도록 한다.
• 이 프레임워크는 영상 캡셔닝(캡처링 벤치마크에서 67.78%) 및 인painting과 같은 다양한 작업에서도 강력한 성능을 유지하며, 정성적 결과를 통해 향상된 추론 및 생성 품질을 보여준다.
• 모델, 코드, 데이터—특히 Salient-15K 데이터셋—의 오픈소스 공개로 재현 가능성과 커뮤니티 기반의 프레임워크 확장이 가능해진다.