[논문 리뷰] Self-Supervised VQA: Answering Visual Questions using Images and Captions.

Pratyay Banerjee, Tejas Gokhale외 2명|arXiv (Cornell University)|2020. 12. 04.

Multimodal Machine Learning Applications참고 문헌 73인용 수 6

한 줄 요약

이 논문은 인간이 애너테이션한 질문-답변 쌍이 필요 없이 이미지와 기술적 설명 문장만을 사용하여 모델을 훈련하는 자기지도 학습 VQA 프레임워크를 제안한다. 템플릿과 QASRL을 활용해 합성 Q-A 쌍을 생성하고, 객체 검출기 대신 공간-피라미드 이미지 패치를 사용함으로써 VQA-v2, GQA, 특히 VQA-CP에서 뛰어난 성능을 달성한다. 특히 후자의 경우 이전의 지도 학습 방법을 뛰어넘으며, 비용이 많이 드는 객체 애너테이션에 의존하지 않고도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Methodologies for training VQA models assume the availability of datasets with human-annotated Image-Question-Answer(I-Q-A) triplets for training. This has led to a heavy reliance and overfitting on datasets and a lack of generalization to new types of questions and scenes. Moreover, these datasets exhibit annotator subjectivity, biases, and errors, along with linguistic priors, which percolate into VQA models trained on such samples. We study whether models can be trained without any human-annotated Q-A pairs, but only with images and associated text captions which are descriptive and less subjective. We present a method to train models with procedurally generated Q-A pairs from captions using techniques, such as templates and annotation frameworks like QASRL. As most VQA models rely on dense and costly object annotations extracted from object detectors, we propose spatial-pyramid image patches as a simple but effective alternative to object bounding boxes, and demonstrate that our method uses fewer human annotations. We benchmark on VQA-v2, GQA, and on VQA-CP which contains a softer version of label shift. Our methods surpass prior supervised methods on VQA-CP and are competitive with methods without object features in fully supervised setting.

연구 동기 및 목표

• 비용이 많이 들고 편향이 있으며 언어적 사전 지식에 취약한 인간이 애너테이션한 I-Q-A 삼중항에 대한 의존도를 줄이기 위해.
• 모델이 인간의 애너테이션 편향을 피하기 위해 오직 이미지와 기술적 설명 문장만으로 효과적으로 훈련될 수 있는지 조사하기 위해.
• 비용이 많이 드는 객체 검출기 의존도를 줄이기 위해 공간-피라미드 이미지 패치를 경량 대체 수 Mittel로 도입하기 위해.
• 특정 데이터셋에 대한 과적합을 줄임으로써 분포 외 질문과 시나리오에 대한 일반화 능력을 향상시키기 위해.

제안 방법

• 템플릿 기반 방법과 QASRL 애너테이션 프레임워크를 사용해 이미지 설명 문장에서 합성 Q-A 쌍을 생성한다.
• 객체 검출기 출력 대신 공간-피라미드 이미지 패치를 시각적 표현으로 사용함으로써 애너테이션 비용을 줄인다.
• 절차적 생성된 Q-A 데이터와 이미지-설명 문장 쌍만을 사용해 VQA 모델을 엔드 투 엔드로 훈련한다.
• 설명 문장의 구조를 활용해 다양한 의미 기반 질문을 생성함으로써 시각적 내용을 반영한다.
• 데이터 증강 및 마스킹 전략을 적용해 자기지도 사전 훈련 중 복잡성과 일반화 능력을 향상시킨다.
• 추가로 인간이 애너테이션한 Q-A 쌍 없이 VQA-v2, GQA, VQA-CP 등의 최종 VQA 벤치마크에서 자기지도 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 인간이 애너테이션한 질문-답변 쌍이 전혀 없이 이미지와 설명 문장만으로 VQA 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 표준 벤치마크에서 평가했을 때, 자기지도 학습 VQA 모델의 성능은 지도 학습 기반 모델과 비교해 어떻게 되는가?
• RQ3 공간-피라미드 이미지 패치가 정확도와 애너테이션 효율성 측면에서 객체 검출기 기반 특징보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 인간이 애너테이션한 Q-A 쌍이 없는 것이 모델의 편향을 줄이고 분포 외 질문에 대한 일반화 능력을 향상시키는가?
• RQ5 설명 문장에서 파생된 합성 Q-A 쌍이 분포 이탈에 대한 복잡성을 시험하는 VQA-CP에서 경쟁력 있는 성능을 낼 수 있는가?

주요 결과

• 제안된 자기지도 학습 방법은 VQA-CP 벤치마크에서 이전의 지도 학습 방법을 뛰어넘으며, 분포 이탈에 대한 강건성 향상이 확인되었다.
• VQA-v2와 GQA에서 경쟁적인 성능를 달성함으로써 객체 검출기 특징에 의존하지 않고도 강력한 일반화 능력을 보였다.
• 공간-피라미드 이미지 패치를 사용함으로써 고비용 객체 애너테이션에 대한 의존도를 줄였고, 높은 성능를 유지했다.
• 직접 Q-A 쌍에 대한 지도 학습을 피하기 때문에 인간이 애너테이션한 데이터셋에 존재하는 편향을 효과적으로 완화했다.
• 설명 문장에서 유도된 합성 Q-A 쌍은 다양하고 의미적으로 타당한 질문을 생성하여 효과적인 사전 훈련을 지원했다.
• 예상치 못한 질문 유형과 시각적 개념으로의 일반화가 잘 되어 있어 훈련 데이터의 편향에 대한 과적합이 줄어든 것으로 나타났다.