[논문 리뷰] MoVie: Revisiting Modulated Convolutions for Visual Counting and Beyond

Duy-Kien Nguyen, Vedanuj Goswami외 1명|arXiv (Cornell University)|2020. 04. 24.

Video Surveillance and Tracking Methods참고 문헌 62인용 수 15

한 줄 요약

MoVie는 단일 순방향 전파에서 이미지 특징을 암묵적으로 추론하는 쿼리 조절형 컨volution 블로킹을 사용하여 시각적 카운팅을 위한 새로운 효율적인 방법을 제안한다. HowMany-QA 및 TallyQA와 같은 카운팅 벤치마크에서 최고 성능을 기록하였으며, COCO 객체 카운팅에서도 이전 방법들을 능가했고, 일반 VQA 모델을 '수량' 질문에 최적화하여 2020년 VQA 챌린지에서 1등을 차지했다.

ABSTRACT

This paper focuses on visual counting, which aims to predict the number of occurrences given a natural image and a query (e.g. a question or a category). Unlike most prior works that use explicit, symbolic models which can be computationally expensive and limited in generalization, we propose a simple and effective alternative by revisiting modulated convolutions that fuse the query and the image locally. Following the design of residual bottleneck, we call our method MoVie, short for Modulated conVolutional bottlenecks. Notably, MoVie reasons implicitly and holistically and only needs a single forward-pass during inference. Nevertheless, MoVie showcases strong performance for counting: 1) advancing the state-of-the-art on counting-specific VQA tasks while being more efficient; 2) outperforming prior-art on difficult benchmarks like COCO for common object counting; 3) helped us secure the first place of 2020 VQA challenge when integrated as a module for 'number' related questions in generic VQA models. Finally, we show evidence that modulated convolutions such as MoVie can serve as a general mechanism for reasoning tasks beyond counting.

연구 동기 및 목표

• 명시적인 기호적 카운팅과 계산 부담이 큰 추론을 피하는 일반적인 목적의 효율적인 시각적 추론 모듈을 개발하기 위해.
• 조절형 컨볼루션을 통해 이미지 및 쿼리 특징을 국소적으로 융합하여 VQA 작업에서의 시각적 카운팅 성능을 향상시키기 위해.
• 조절형 컨볼루션은 카운팅을 넘어서 다양한 시각적 작업에서 추론을 향상시키는 일반적인 메커니즘으로 기능할 수 있음을 보여주기 위해.
• MoVie를 기존 VQA 아키텍처에 최소한의 계산 오버헤드로 통합하여 '수량' 질문에서의 정확도를 크게 향상시키기 위해.

제안 방법

• 각 블록이 쿼리 임베딩에 의해 조절되는 잔차 블로킹 블록을 사용하여 이미지 및 쿼리 특징을 국소적으로 융합한다.
• 특징 맵을 단일 피드포워드 전파로 처리하여 반복적 또는 기호적 추론 없이 효율적인 추론을 가능하게 한다.
• 쿼리 표현을 사용해 컨볼루션의 채널별 가중치를 조절하여 쿼리 맥락에 따라 동적으로 특징 맵을 적응시킨다.
• MoVie의 출력을 표준 VQA 특징과 융합하여 기존 VQA 모델에 통합함으로써 공동 예측을 가능하게 한다.
• 최소한의 파라미터 증가로 VQA 데이터셋에서 표준 크로스 엔트로피 손실을 사용해 엔드 투 엔드로 훈련한다.
• 기여도 분석을 위해 추론 기법과 시각화 기법을 사용하며, 질문 유형별로 유사도 기반 할당을 통해 영향도를 측정한다.

실험 결과

연구 질문

• RQ1 조절형 컨볼루션은 자연 이미지 카운팅 작업에 효과적으로 적용될 수 있는가? 기호적 추론 없이도 강력한 성능을 달성할 수 있는가?
• RQ2 카운팅 전용 및 일반 VQA 벤치마크에서 MoVie는 기존 방법과 비교해 정확도와 효율성 측면에서 어떻게 다른가?
• RQ3 일반 VQA 모델에서 '수량' 질문 성능을 MoVie가 얼마나 향상시키는가?
• RQ4 MoVie는 카운팅을 넘어서 논리적 추론이나 공간적 추론과 같은 다른 시각적 추론 작업으로 일반화될 수 있는가?
• RQ5 추론 과정에서 MoVie는 어디에서 가장 기여하는가? 그리고 표준 전역 융합 기법과 비교해 볼 때 어떻게 다른가?

주요 결과

• MoVie는 HowMany-QA 및 TallyQA에서 SOTA 성능을 달성하였으며, 이전의 기호적 카운팅 방법보다 정확도는 높이고 효율성은 더 뛰어나다.
• COCO 데이터셋에서 MoVie는 일반 객체 카운팅에서 이전 접근법을 크게 능가하여 강력한 일반화 능력을 보였다.
• MCAN 및 Pythia에 통합했을 때, MoVie는 VQA 2.0 테스트-디브 세트에서 '수량' 질문 정확도를 각각 55.68%에서 57.05%, 45.98%에서 53.25%로 향상시켰다.
• MoVie는 2020년 VQA 챌린지에서 1등을 차지했으며, 주로 '수량' 관련 질문에서의 뛰어난 성능 덕분이었다.
• 시각화 결과 MoVie는 '몇 명이 있나요?' 및 '몇 개인가요?'와 같은 카운팅 관련 질문 유형에서 가장 큰 기여를 한다는 것이 확인되었으며, 이는 국소적이고 쿼리 기반 추론에서의 효과성을 보여준다.
• MoVie는 '예/아니요' 및 '색상' 관련 질문에서도 측정 가능한 이점을 보이며, 카운팅을 넘어서는 더 넓은 추론 능력을 지닌다는 것을 시사한다.