[논문 리뷰] T-Rex: Counting by Visual Prompting

Qing Jiang, Feng Li외 5명|arXiv (Cornell University)|2023. 11. 22.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

T-Rex는 높은 정확도와 해석 가능성으로 이미지 내 객체를 탐지하고 세는 데에 시각적 프롬프팅을 활용하는 새로운 상호작용형 객체 수세기 모델이다. 참조 이미지에서 사용자가 점 또는 경계 상자로 대상 객체를 지정함으로써 T-Rex는 대상 이미지에서 유사한 인스턴스를 탐지하고 집계하여 계산하며, 새로운 CA-44 데이터셋을 포함한 다양한 벤치마크에서 최신 기술 수준의 제로샷 성능을 달성한다.

ABSTRACT

We introduce T-Rex, an interactive object counting model designed to first detect and then count any objects. We formulate object counting as an open-set object detection task with the integration of visual prompts. Users can specify the objects of interest by marking points or boxes on a reference image, and T-Rex then detects all objects with a similar pattern. Guided by the visual feedback from T-Rex, users can also interactively refine the counting results by prompting on missing or falsely-detected objects. T-Rex has achieved state-of-the-art performance on several class-agnostic counting benchmarks. To further exploit its potential, we established a new counting benchmark encompassing diverse scenarios and challenges. Both quantitative and qualitative results show that T-Rex possesses exceptional zero-shot counting capabilities. We also present various practical application scenarios for T-Rex, illustrating its potential in the realm of visual prompting.

연구 동기 및 목표

• 고정된 카테고리에 제약을 받거나 해석이 어려운 기존 객체 수세기 방법의 한계를 해결하기 위해.
• 명확한 텍스트 기반 설명이 없는 객체에 대해 제로샷 수세기 과제를 해결하기 위해, 더 효과적인 사양 방법으로 시각적 프롬프팅을 도입함으로써.
• 사용자가 시각적 피드백을 통해 결과를 정밀 조정할 수 있는 상호작용형 오픈셋 수세기 시스템을 개발하여 정확도와 사용자 신뢰도를 향상시키기 위해.
• 다양한 도메인과 복잡한 시나리오를 포함한 다양한 분야에서 제로샷 수세기 성능을 평가하기 위해 새로운 종합적 벤치마크(CA-44)를 구축하기 위해.
• 농업, 의료, 물류, 소매와 같은 실제 응용 분야에서 T-Rex의 실용적 유용성을 광범위한 사례 연구를 통해 입증하기 위해.

제안 방법

• 사전 정의된 카테고리 제약 없이, 시각적 프롬프팅을 통한 개선을 거친 오픈셋 객체 탐지 작업으로 객체 수세기를 재정의함.
• 사용자가 참조 이미지에 점 또는 경계 상자를 제공함으로써, 모델이 대상 이미지에서 유사한 패턴을 탐지하도록 유도함.
• 빠른 추론과 상호작용적 정밀 조정을 위해 시각 인코더와 경량 디코더를 통해 시각적 프롬프트를 처리하는 탐지 기반 아키텍처를 활용함.
• 탐지 결과에서 유저 피드백을 통합하여, 놓친 탐지나 잘못된 탐지를 추가 프롬프트로 반복적으로 수정할 수 있도록 함.
• 검출된 박스에 대해 SAM과 같은 세그멘테이션 모델을 활용해 마스크를 생성함으로써 시각화 향상과 사용자 검증을 강화함.
• 기존의 클래스 무관 수세기 벤치마크와 함께, 8개 도메인에 걸쳐 44개의 다양한 데이터셋을 포함한 새로운 대규모 벤치마크(CA-44)에서 훈련 및 평가 수행함.

실험 결과

연구 질문

• RQ1 오픈 뷰워드 탐지에서 텍스트 기반 프롬프팅에 비해 시각적 프롬프팅이 제로샷 객체 수세기 성능을 크게 향상시킬 수 있는가?
• RQ2 오류 수정과 정확도 향상에 있어 상호작용형 사용자 가이드 프로세스의 효과는 어떠한가?
• RQ3 튜닝 없이도 탐지 기반의 시각적 프롬프팅 모델이 다양한 실제 수세기 시나리오에 얼마나 잘 일반화되는가?
• RQ4 GPT-4V와 같은 최신 멀티모odal LLM에 비해 T-Rex는 수세기 정확도와 신뢰성 측면에서 어떻게 비교되는가?
• RQ5 복잡한 장면에서 시각적 프롬프팅의 주요 실패 요인은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• T-Rex는 기존의 두 가지 클래스 무관 수세기 벤치마크에서 최신 기술 수준의 성능을 달성하여, 밀도 맵 회귀 및 클로즈드셋 탐지 방법을 모두 앞서간다.
• 새로 도입된 CA-44 벤치마크에서 T-Rex는 Grounding DINO 및 GPT-4V를 포함한 기준 모델들을 전 44개 데이터셋과 8개 도메인에서 모두 뛰어나게 앞서간다.
• GPT-4V에 비해 T-Rex는 특히 일장형 시각적 프롬프팅 설정에서 더 뛰어난 제로샷 수세기 정확도를 보이며, 정확한 객체 인식에 있어 시각적 프롬프팅이 텍스트 프롬프팅보다 더 효과적임을 시사한다.
• 상호작용형 프롬프팅 메커니즘이 오류 수정을 효율적으로 가능하게 하며, 반복마다 최소한의 계산 비용으로 고속 및 자원 효율성을 유지한다.
• 실패 케이스는 단일 타겟 장면과 고밀도 다중 객체 장면에서 과적합 및 거짓 양성 결과가 발생하는 한계를 드러내며, 다중 프롬프팅 또는 부정적 프롬프팅 전략의 필요성을 강조한다.
• 실제 응용 사례 연구를 통해 농업, 의료, 물류, 소매 등 다양한 도메인에서 T-Rex는 강력한 실용적 잠재력을 보였다.