[논문 리뷰] In Defense of Grid Features for Visual Question Answering

Huaizu Jiang, Ishan Misra외 3명|arXiv (Cornell University)|2020. 01. 10.

Multimodal Machine Learning Applications참고 문헌 58인용 수 18

한 줄 요약

이 논문은 시각질문응답(VQA)에서 격자 기반 컨볼루션 특징의 사용을 주장하며, VQA 2.0에서 최고 성능(테스트-std 기준 72.71%)을 달성하면서도 영역 기반 특징보다 40배 이상 빠른 속도를 보임을 입증한다. 저자들은 Visual Genome에서의 적절한 사전 훈련과 고해상도 입력을 통해 격자 특징이 영역 기반 특징과 동등하거나 이를 초월하는 성능을 내며, 영역 애너테이션 없이 엔드 투 엔드 훈련이 가능하게 하고 모델 설계를 단순화함을 보여준다.

ABSTRACT

Popularized as 'bottom-up' attention, bounding box (or region) based visual features have recently surpassed vanilla grid-based convolutional features as the de facto standard for vision and language tasks like visual question answering (VQA). However, it is not clear whether the advantages of regions (e.g. better localization) are the key reasons for the success of bottom-up attention. In this paper, we revisit grid features for VQA, and find they can work surprisingly well - running more than an order of magnitude faster with the same accuracy (e.g. if pre-trained in a similar fashion). Through extensive experiments, we verify that this observation holds true across different VQA models (reporting a state-of-the-art accuracy on VQA 2.0 test-std, 72.71), datasets, and generalizes well to other tasks like image captioning. As grid features make the model design and training process much simpler, this enables us to train them end-to-end and also use a more flexible network design. We learn VQA models end-to-end, from pixels directly to answers, and show that strong performance is achievable without using any region annotations in pre-training. We hope our findings help further improve the scientific understanding and the practical application of VQA. Code and features will be made available.

연구 동기 및 목표

• 영역 기반 특징이 VQA에서 격자 기반 특징보다 본질적으로 열등하다는 가정을 도전하기 위해.
• 하이퍼바운드 어텐션의 성공이 영역 국소화에 기인하는지, 사전 훈련 데이터의 크기와 해상도에 기인하는지 조사하기 위해.
• 영역 애너테이션에 의존하지 않고 픽셀에서 답변까지의 엔드 투 엔드 VQA 훈련을 가능하게 하기 위해 격자 기반 특징을 사용하기 위해.
• 격자 기반 특징이 다양한 모델, 데이터셋, 이미지 캡션과 같은 작업으로 일반화되는지 입증하기 위해.
• 비용이 많이 드는 영역 추출 단계를 대체함으로써 모델 설계를 단순화하고 추론 속도를 가속화하기 위해.

제안 방법

• 영역 기반 모델과 동일한 Visual Genome 데이터셋과 고해상도 입력을 사용하여 격자 특징을 사전 훈련함으로써 공정한 비교를 확보하기 위해.
• 영역 특징과 동일한 계층(fc6)에서 격자 특징을 추출하여 특징 추출의 일관성을 유지하기 위해.
• 다양한 스케일의 컨텍스트를 포착하기 위해 격자 특징에 피라미드 풀링 모듈(PPM)을 적용하여, 영역 애너테이션 없이도 성능 향상을 이끌어내기 위해.
• 영역 수준의 기반 애너테이션 없이도 원시 픽셀에서 답변까지의 엔드 투 엔드 VQA 모델을 훈련하기 위해 격자 기반 특징을 사용하기 위해.
• 표준 VQA 및 이미지 캡션 벤치마크(VQA 2.0, VizWiz, COCO)를 사용하여 다양한 작업과 모델 간의 일반화 성능 평가하기 위해.
• 다양한 백본(ResNet, ResNeXt), VQA 모델(Pythia, MCAN), 특징 유형(격자 대 영역)을 대상으로 추론 속도와 정확도 측정하기 위해.

실험 결과

연구 질문

• RQ1 동일한 조건에서 사전 훈련을 한 경우, 격자 기반 특징이 영역 기반 특징과 동등하거나 더 높은 VQA 정확도를 달성할 수 있는가?
• RQ2 영역 기반 특징의 성능 향상 요인이 더 나은 국소화에 기인하는지, 사전 훈련 데이터의 크기와 해상도에 기인하는가?
• RQ3 영역 수준의 애너테이션 없이도 격자 기반 특징만으로 엔드 투 엔드 VQA 훈련을 성공적으로 수행할 수 있는가?
• RQ4 격자 기반 특징 사용이 다양한 아키텍처와 작업에서 추론 속도와 모델 유연성에 어떤 영향을 미치는가?
• RQ5 격자 기반 특징이 이미지 캡션과 같은 다른 비전-언어 작업으로도 잘 일반화되는가?

주요 결과

• 격자 기반 특징은 VQA 2.0 벤치마크에서 최고 성능인 테스트-std 정확도 72.71%를 달성하며, 영역 기반 모델과 동등하거나 이를 초월한다.
• ResNet-50 백본을 사용할 경우, 격자 기반 특징을 사용할 경우 영역 기반 특징 대비 추론 속도가 40배 이상 향상되어 이미지당 평균 0.89초에서 0.02초로 감소한다.
• FPN 기반 영역 특징 파이프라인은 훨씬 느리며(1.03초 대비 0.02초), VQA 정확도에서 더 단순한 C4 또는 격자 기반 접근 방식을 능가하지 못한다.
• 격자 기반 특징은 이미지 캡션 작업으로도 잘 일반화되어, COCO Karpathy 분할에서 BLEU-4 점수 88.46, CIDEr 점수 72.59를 기록하며 영역 기반 모델과 유사한 성능을 보였다.
• 영역 수준의 애너테이션이 전혀 필요 없이 격자 기반 특징을 사용한 엔드 투 엔드 훈련이 높은 성능을 달성함으로써, 명시적인 영역 모델링이 높은 정확도를 위해 필수적인 것은 아님을 입증하였다.
• 제거 분석 결과, 높은 성능의 핵심 요인은 대규모 Visual Genome에서의 사전 훈련과 고해상도 입력 해상도이며, 특징 형식(격자 대 영역)은 중요하지 않다는 것이 확인되었다.