[논문 리뷰] VQD: Visual Query Detection in Natural Scenes

Manoj Acharya, Karan Jariwala외 1명|arXiv (Cornell University)|2019. 04. 04.

Multimodal Machine Learning Applications참고 문헌 19인용 수 9

한 줄 요약

이 논문은 자연어 질의를 바탕으로 이미지 내에서 0개에서 다수의 객체를 국소화해야 하는 새로운 시각적 기반 작업인 시각적 질의 검출(VQD)을 소개한다. 이는 참조 표현 인식(RER)과 달리 출력 개수의 변동을 허용한다는 점에서 다름을 가진다. 저자들은 합성 질의를 포함한 첫 번째 VQD 데이터셋(VQDv1)을 제시하고 기준 모델을 평가하여, 성공하기 위해 모델이 맥락과 다수의 객체를 이해해야 한다는 것을 보여주며, 특히 비전+질의 모델이 VQD와 RER 벤치마크 양쪽에서 더 뛰어난 성능을 보였다.

ABSTRACT

We propose Visual Query Detection (VQD), a new visual grounding task. In VQD, a system is guided by natural language to localize a variable number of objects in an image. VQD is related to visual referring expression recognition, where the task is to localize only one object. We describe the first dataset for VQD and we propose baseline algorithms that demonstrate the difficulty of the task compared to referring expression recognition.

연구 동기 및 목표

• 자연어 질의를 바탕으로 변수 수의 객체를 국소화해야 하는 새로운 시각적 기반 작업인 시각적 질의 검출(VQD)을 정의하고 형식화하는 것.
• 기존 작업인 참조 표현 인식(RER)과 시각적 질의 응답(VQA)의 한계를 해결하기 위한 것. 이는 데이터셋 편향과 단일 출력 제약으로 인해 발생한다.
• 합성된 맥락적으로 관련된 질의를 포함한 첫 번째 공개 가능한 VQD 데이터셋(VQDv1)을 개발하고 배포하는 것.
• VQD에서 RER보다 더 높은 곤란도를 보이며, 다수 또는 0개의 유효한 출력이 가능한 복잡한 질의를 처리하는 데에 어려움이 있음을 보여주기 위한 기준 모델 평가.
• VQD가 언어만으로 패턴에 의존하는 것보다 편향에 덜 민감한 이유를 보여주기 위해, 객체 바운딩 박스 생성을 요구하기 때문이다.

제안 방법

• VQD 작업은 자연어 질의를 사용하여 이미지 내 0개에서 N개의 객체를 국소화하는 것으로 정의되며, 출력은 질의와 일치하는 바운딩 박스가 된다.
• VQDv1 데이터셋은 속성, 관계, 공간적 추론를 포함한 템플릿을 통해 생성된 합성 질의를 사용하여 구성되며, 다양하고 맥락적으로 관련된 프롬프트를 보장한다.
• 기준 모델로는 DETECT(질의의 첫 번째 명사를 포함하는 COCO 클래스를 검출하기 위해 Faster R-CNN 사용), RANDOM(무작위 후보 선택), Query-Blind(비전 전용 모델로 CNN 특징과 3층의 MLP 사용), Vision+Query(질의 특징을 GRU로 인코딩한 후 CNN 특징과 연결하여 분류)가 포함된다.
• 모든 모델는 ResNet-101 백본과 Non-Maximum Suppression(IoU 임계값 0.7)를 사용하는 Faster R-CNN을 사용하여 영역 후보를 생성한다.
• Vision+Query 모델은 질의를 고정된 크기의 벡터로 인코딩하기 위해 GRU를 사용하며, 이는 CNN 특징와 연결되어 ReLU 활성화를 가지는 3층의 MLP를 통과한다.
• 평가에서는 VQDv1(0-N 객체)에 대해 AP@IoU=0.50을, 단일 객체 VQDv1와 RER에 대해 Precision@1을 사용하며, 학습은 이진 교차 엔트로피와 학습률 감소를 사용한다.

실험 결과

연구 질문

• RQ1 VQD의 복잡성은 참조 표현 인식(RER)과 비교해 볼 때 출력 변동성과 모델 일반화 능력 측면에서 어떻게 다른가?
• RQ2 RER에서 학습된 모델이 VQD로 일반화 가능한가? 특히 VQD는 각 질의에 대해 0개 또는 다수의 유효한 바운딩 박스를 허용하기 때문이다.
• RQ3 기존 모델은 RER와 VQA에서 얼마나 많은 데이터셋 편향을 악용하는가? 그리고 VQD가 바운딩 박스 생성을 요구함으로써 이러한 편향을 어떻게 줄이는가?
• RQ4 비전 전용 모델과 비전+언어 모델은 자연 환경에서 복잡한, 속성 기반 또는 관계 기반의 질의를 기반으로 객체를 탐지하는 데 얼마나 효과적인가?
• RQ5 DETECT와 RANDOM과 같은 단순 기준 모델의 성능 한계는 무엇이며, 엔드 투 엔드 학습 모델과 비교해 볼 때 어떻게 다른가?

주요 결과

• Vision+Query 모델은 RER와 VQD 양 측면에서 DETECT와 RANDOM과 같은 단순 기준 모델보다 뛰어난 성능을 보이며, 시각적 및 언어적 이해의 통합이 중요함을 시사한다.
• DETECT 기준 모델은 단일 객체 VQD에서는 잘 작동하지만, 0–N 객체 설정에서는 심각한 성능 저하를 보이며, 다수 또는 0개의 유효한 객체를 고려해야 한다는 필요성을 강조한다.
• RANDOM 기준 모델은 VQD와 RER 양쪽에서 성능이 열악하여, 무작위 박스 선택만으로는 정확한 기반을 확립하는 데 부적절함을 확인한다.
• Query-Blind 모델은 시각적 특징만을 사용하지만 RefCOCOg에서 최상위 2개 정밀도 71.2%를 기록하여, 기존 RER 데이터셋이 비전 전용 편향에 취약함을 보여준다.
• VQDv1 데이터셋은 기존 RER 및 VQA 데이터셋보다 언어 편향이 적다. 합성된 질의는 부정확한 언어적 상관관계를 최소화하도록 설계되어 있어, 데이터셋 편향을 악용하기 어렵게 만들었다.