[논문 리뷰] DesCo: Learning Object Recognition with Rich Language Descriptions

Liunian Harold Li, Zi-Yi Dou외 2명|arXiv (Cornell University)|2023. 06. 24.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

DesCo는 대규모 언어 모델을 활용해 객체에 대한 풍부한 공리적 설명을 생성하고, 맥락에 민감한 쿼리를 구성함으로써 시각-언어 모델이 미세한 시각적 세부 정보를 더 잘 이해할 수 있도록 하는 새로운 시각-언어 패러다임을 제안한다. 이는 LVIS에서 34.8 AP, OminiLabel에서 29.3 AP를 기록하며, 제로샷 검출 설정에서 기존의 GLIP과 FIBER보다 각각 9점과 3.6점 이상 뛰어난 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recent development in vision-language approaches has instigated a paradigm shift in learning visual recognition models from language supervision. These approaches align objects with language queries (e.g. "a photo of a cat") and improve the models' adaptability to identify novel objects and domains. Recently, several studies have attempted to query these models with complex language expressions that include specifications of fine-grained semantic details, such as attributes, shapes, textures, and relations. However, simply incorporating language descriptions as queries does not guarantee accurate interpretation by the models. In fact, our experiments show that GLIP, the state-of-the-art vision-language model for object detection, often disregards contextual information in the language descriptions and instead relies heavily on detecting objects solely by their names. To tackle the challenges, we propose a new description-conditioned (DesCo) paradigm of learning object recognition models with rich language descriptions consisting of two major innovations: 1) we employ a large language model as a commonsense knowledge engine to generate rich language descriptions of objects based on object names and the raw image-text caption; 2) we design context-sensitive queries to improve the model's ability in deciphering intricate nuances embedded within descriptions and enforce the model to focus on context rather than object names alone. On two novel object detection benchmarks, LVIS and OminiLabel, under the zero-shot detection setting, our approach achieves 34.8 APr minival (+9.1) and 29.3 AP (+3.6), respectively, surpassing the prior state-of-the-art models, GLIP and FIBER, by a large margin.

연구 동기 및 목표

• 간단한 객체 이름을 초과하는 복잡한 서술적 언어 쿼리 이해에 대한 시각-언어 모델의 한계를 해결하기 위해.
• 언어 설명 내에서 미세한 시각적 특성, 형태, 질감 및 관계에 대한 모델의 민감도를 향상시키기 위해.
• 기존 모델에서 맥락적 뉘앙스를 忽시하는 '단어의 가방' 행동을 극복하기 위해.
• 모델이 객체 이름에만 의존하기보다는 풍부한 서술을 사용하도록 유도하는 학습 패러다임을 개발하기 위해.
• LLM가 생성한 서술과 맥락 인식 쿼리 설계가 제로샷 일반화 능력 향상에 크게 기여함을 입증하기 위해.

제안 방법

• 객체 이름과 원시 이미지-텍스트 캡션에서 세부적이고 서술적인 캡션을 생성하기 위해 대규모 언어 모델(LM; 예: GPT)을 공리적 지식 엔진으로 활용한다.
• 중심 엔티티 이름을 제거하고 서술적 특성에 중점을 두어 맥락에 민감한 쿼리를 구성함으로써, 모델이 맥락적 특징에 의존하도록 유도한다.
• 유사한 개념 간의 구분 능력을 향상시키기 위해 LLM이 생성한 하드 음성 캡션을 도입함으로써 맥락 이해 능력을 강화한다.
• 풍부한 LLM 생성 서술로 풍부하게 개선된 이미지-텍스트 쌍을 기반으로 대조적 목표를 사용해 시각-언어 모델(GLIP 기반)을 훈련한다.
• 각 구성 요소의 효과를 검증하기 위해 추론 실험(ablation studies)를 수행하며, 서술 품질, 이름 제거, 음성 캡션 삽입을 포함한다.
• LLM의 모델 크기 확장을 활용해(예: GPT-Davinci) 더 높은 품질의 서술이 검출 성능 향상에 기여함을 입증한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 객체 인식을 위해 미세한 시각적 특성과 관계를 포함한 풍부한 서술적 캡션을 효과적으로 생성할 수 있는가?
• RQ2 쿼리에서 객체 이름을 제거하면 시각 모델이 맥락적 및 서술적 특징에 대한 민감도가 향상되는가?
• RQ3 LLM가 생성한 하드 음성 캡션은 유사한 객체 간 미세한 차이를 기반으로 구분 능력을 향상시키는가?
• RQ4 표준 템플릿에 비해 LLM 생성 서술이 제로샷 일반화 능력 향상에 어느 정도 기여하는가?
• RQ5 언어 서술의 품질(예: 작은 LLM 대비 큰 LLM에서의 결과)이 최종 검출 성능에 어떤 영향을 미치는가?

주요 결과

• DesCo는 제로샷 검출 설정에서 LVIS 벤치마크에서 34.8 AP를 기록하며, 이는 이전 SOTA 모델인 GLIP 대비 +9.1 향상된 성능이다.
• OminiLabel 벤치마크에서는 29.3 AP를 기록하며, GLIP 및 FIBER 대비 +3.6 향상되어 새로운 카테고리로의 일반화 능력이 뛰어나다는 것을 입증한다.
• 엔티티 이름을 쿼리에서 제거함으로써 Δ Conf 지표에서 10.7 포인트 향상되어 맥락적 세부 정보에 대한 주의 집중 능력 향상이 확인되었다.
• 하드 음성 캡션을 사용하면 검출 성능 향상과 함께 높은 맥락 이해 능력을 유지하며, 최적의 추론 실험에서 Δ Conf 지표가 10.5 포인트 향상되었다.
• 더 큰 언어 모델(예: GPT-Davinci)은 더 높은 품질의 서술을 생성하여 LVIS에서 34.6 AP를 기록한 반면, GPT-Ada는 19.9 AP를 기록하여 성능 향상이 뚜렷하게 나타났다.
• 추론 실험 결과, 맥락에 민감한 설계 없이 직접 서술을 첨부하는 것은 성능 향상이나 맥락 민감도 향상에 실패함을 확인하였으며, 이는 쿼리 설계의 필수성을 강조한다.