[논문 리뷰] Contextual Object Detection with Multimodal Large Language Models

Yuhang Zang, Wei Li외 3명|arXiv (Cornell University)|2023. 05. 29.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 시각 인코더, 사전 훈련된 대규모 언어 모델(LLM)를 통한 문맥 복원, 그리고 경계 상자 예측을 위한 시각 디코더를 조합함으로써 문맥 기반 객체 검출을 가능하게 하는 새로운 엔드 투 엔드 다중모달 모델인 ContextDET을 소개한다. 이는 개방형 어휘 검출과 새로운 벤치마크(CODE)에서 최고 성능을 기록하며, MLLMs가 표준 검출을 초월해 세밀하고 언어 조건 기반의 객체 국소화에 활용될 잠재력을 입증한다.

ABSTRACT

Recent Multimodal Large Language Models (MLLMs) are remarkable in vision-language tasks, such as image captioning and question answering, but lack the essential perception ability, i.e., object detection. In this work, we address this limitation by introducing a novel research problem of contextual object detection -- understanding visible objects within different human-AI interactive contexts. Three representative scenarios are investigated, including the language cloze test, visual captioning, and question answering. Moreover, we present ContextDET, a unified multimodal model that is capable of end-to-end differentiable modeling of visual-language contexts, so as to locate, identify, and associate visual objects with language inputs for human-AI interaction. Our ContextDET involves three key submodels: (i) a visual encoder for extracting visual representations, (ii) a pre-trained LLM for multimodal context decoding, and (iii) a visual decoder for predicting bounding boxes given contextual object words. The new generate-then-detect framework enables us to detect object words within human vocabulary. Extensive experiments show the advantages of ContextDET on our proposed CODE benchmark, open-vocabulary detection, and referring image segmentation. Github: https://github.com/yuhangzang/ContextDET.

연구 동기 및 목표

• 다중모달 대규모 언어 모델(MLLM)이 강력한 시각-언어 이해 능력을 지니고 있음에도 불구하고 객체 검출 기능이 부족한 점을 보완한다.
• 모델이 인간처럼 풍부한 언어적 문맥을 바탕으로 객체를 검출하고 국소화하는 새로운 연구 문제인 '문맥 기반 객체 검출'을 제안한다.
• 정확한 객체 국소화 및 식별을 위한 시각-언어 문맥의 엔드 투 엔드, 미분 가능한 통합 프레임워크를 개발한다.
• 폐쇄형 검출기와 '검출-분류' 파라다임의 제약을 극복하기 위해, '신랑', '하키 골리백'과 같은 개방형 어휘, 문맥 특화 객체 용어를 검출할 수 있도록 한다.

제안 방법

• 생성-다음 검출 프레임워크 제안: 먼저 시각적 및 작업 전용 토큰을 조건으로 삼아 사전 훈련된 LLM을 사용해 자연어 기술을 생성한다.
• LLM이 생성한 토큰을 조건부 사전 확률로 활용하여, 교차 어텐션 메커니즘을 통해 경계 상자를 예측하는 시각 디코더를 이끌어낸다.
• 지역 및 전역 시각적 특징을 추출하기 위해 시각 인코더(예: ResNet)를 사용하며, 지역 토큰을 LLM의 시각적 프리픽스 입력으로 활용한다.
• LLM 토큰에서 조건부 객체 쿼리를 계산하고 전체 시각적 토큰에 주의를 기울여 일치 점수와 경계 상자를 예측하기 위해 교차 어텐션 레이어를 갖춘 시각 디코더를 설계한다.
• 언어로 생성된 객체 단어와 그에 해당하는 시각적 위치를 정렬하는 통합 목표를 사용해 모델을 엔드 투 엔드로 훈련한다.
• MLLM에 '이 그림에 [CLASS]가 나타나나요?'라고 프롬프트하여 응답을 검출을 위한 조건부 입력으로 사용함으로써, 개방형 어휘 검출에 모델을 적응시킨다.

Figure 1: We present a new contextual object detection task include (a) look at the image and complete the masked object names and locations; (b) predict the caption and the boxes of objects existing in the caption; (c) answer a question about the names and locations of objects. Unlike the tradition

실험 결과

연구 질문

• RQ1 다중모달 대규모 언어 모델은 표준 분류를 초월해 문맥 기반 객체 검출에 효과적으로 확장될 수 있는가?
• RQ2 MLLM 기반 모델은 '신랑', '버디맨', '하키 골리백'과 같은 개방형 어휘, 문맥 특화 객체 용어를 얼마나 잘 검출하고 국소화할 수 있는가?
• RQ3 풍부한 언어적 문맥을 가진 제로샷 및 개방형 어휘 설정에서, 생성-다음 검출 프레임워크가 기존의 객체 검출기보다 우수한 성능을 낼 수 있는가?
• RQ4 MLLM가 생성한 문맥을 사용할 경우, 객체 검출 작업에서 일반화 능력과 해석 가능성은 어느 정도 향상되는가?

주요 결과

• ContextDET은 OV-COCO 벤치마크의 신규 클래스에 대해 36.8%의 AP50 성능을 기록하여 이전 최고 성능 모델 BARON을 2.8%p 초월한다.
• 베이스 클래스와 모든 클래스에서 각각 65.1%와 57.7%의 AP50 성능을 기록하여 BARON을 4.7%p와 4.2%p 각각 초월한다.
• 표준 검출기들이 인식하지 못하는 분포 외 객체 용어인 '신랑', '신부', '하키 골리백' 등을 검출함으로써 제로샷 일반화 능력이 크게 향상된다.
• 정성적 결과에서는 ContextDET이 생성된 캡션 또는 질문에 언급된 객체를 성공적으로 국소화하는 반면, 표준 MLLM은 텍스트 생성에 그치는 것을 확인할 수 있다.
• 절단 실험 결과, 9개의 시각적 토큰을 프리픽스로 사용할 경우(p=9) 최적의 성능를 달성함을 확인하여, 시각적 프리픽스 메커니즘의 설계가 타당함을 입증한다.
• 모델는 문맥 인식 객체 이름과 정확한 경계 상자를 생성함으로써 강력한 해석 가능성을 보이며, 더 풍부한 인간-AI 상호작용을 가능하게 한다.

Figure 2: Our ContextDET is a unified end-to-end framework, being capable of taking different language token inputs for different tasks, including (a) cloze test (b) captioning and (c) question answering. : frozen. The symbol ${\bm{e}}$ indicates latent embeddings of LLM (Section 3.2 ), and the symb