[논문 리뷰] An Empirical Evaluation of Visual Question Answering for Novel Objects

Santhosh Kumar Ramakrishnan, Ambar Pal외 2명|arXiv (Cornell University)|2017. 04. 08.

Multimodal Machine Learning Applications참고 문헌 35인용 수 10

한 줄 요약

이 논문은 훈련 중에 볼 수 없었던 새로운 객체를 포함한 이미지에서 모델의 성능을 평가하는 시각질문응답(VQA)을 위한 새로운 벤치마크를 제안한다. 외부 텍스트 및 이미지 코퍼스를 활용하는 두 가지 모odular한 다중모odal 딥 러닝 방법을 도입하여 새로운 객체에 대한 VQA 성능을 향상시켰으며, 기준 모델 대비 최대 8.7%의 절대적 성능 향상을 달성했다. 이는 새로운 객체 서브셋에서의 성능 향상이다.

ABSTRACT

We study the problem of answering questions about images in the harder setting, where the test questions and corresponding images contain novel objects, which were not queried about in the training data. Such setting is inevitable in real world-owing to the heavy tailed distribution of the visual categories, there would be some objects which would not be annotated in the train set. We show that the performance of two popular existing methods drop significantly (up to 28%) when evaluated on novel objects cf. known objects. We propose methods which use large existing external corpora of (i) unlabeled text, i.e. books, and (ii) images tagged with classes, to achieve novel object based visual question answering. We do systematic empirical studies, for both an oracle case where the novel objects are known textually, as well as a fully automatic case without any explicit knowledge of the novel objects, but with the minimal assumption that the novel objects are semantically related to the existing objects in training. The proposed methods for novel object based visual question answering are modular and can potentially be used with many visual question answering architectures. We show consistent improvements with the two popular architectures and give qualitative analysis of the cases where the model does well and of those where it fails to bring improvements.

연구 동기 및 목표

• 훈련 중에 볼 수 없었던 객체를 포함한 테스트 이미지에서 시각질문응답(VQA)의 과제를 연구하기 위해.
• 기존 VQA 모델이 새로운 시각적 카테고리로 일반화할 때 성능 저하 문제를 해결하기 위해.
• 외부 텍스트 및 이미지 코퍼스를 사용하여 제로샷 VQA 성능을 향상시키는 모odular한 프레임워크를 제안하기 위해.
• 새로운 객체가 훈련 객체와 의미적으로 관련이 있을 때, 오라클 및 최소 의미적 가정 설정 조건 하에서 제안된 방법을 평가하기 위해.
• 다양한 VQA 아키텍처와 질문 유형에 걸쳐 일관된 성능 향상을 입증하기 위해.

제안 방법

• 훈련 예제에 새로운 테스트 객체에 대한 언급이 전혀 포함되지 않도록 VQA 데이터셋의 새로운 훈련-테스트 분할을 제안하여 강력한 제로샷 평가 설정을 만든다.
• 외부 자료에서 시각적 및 텍스트적 표현을 정렬하기 위해 깊은 순환 신경망을 사용하는 다중모달 오토인코더를 사용한다.
• 대규모의 레이블이 없는 텍스트 코퍼스(예: 책들)를 활용하여 사전 학습된 Word2Vec 임베딩을 통해 새로운 객체의 의미적 표현을 학습한다.
• 클래스 레이블이 있는 외부 이미지 데이터셋을 통합하여 새로운 객체의 시각적 맥락을 제공하며, 이미지-텍스트 대비 학습을 사용한다.
• 기존 VQA 아키텍처(예: VGG, Inception, ResNet 백본 기반)에 쉽게 통합할 수 있는 모odular한 프레임워크를 적용한다.
• 오라클 및 비오라클 설정을 모두 적용한다: 오라클 케이스에서는 모델이 새로운 객체 이름을 제공받는다. 일반 케이스에서는 Word2Vec 공간 내 의미 유사도를 통해 객체를 추론한다.

실험 결과

연구 질문

• RQ1 기존 최첨단 VQA 모델은 훈련 중에 볼 수 없었던 새로운 객체를 포함한 이미지에서 어떻게 성능을 내는가?
• RQ2 훈련 시 명시적 애너테이션을 요구하지 않고도 외부 텍스트 및 이미지 코퍼스가 새로운 객체에 대한 VQA 성능 향상에 기여할 수 있는가?
• RQ3 외부 지식으로서 텍스트 정보만 사용할 경우와 텍스트 및 시각적 지식을 병합할 경우의 영향은 어떠한가?
• RQ4 새로운 객체가 명시적으로 제공되지 않을 경우(즉, 최소 의미적 가정 조건에서), 모델의 효과성은 어떠한가?
• RQ5 제안된 방법이 다양한 VQA 아키텍처와 질문 유형에 걸쳐 얼마나 일반화되는가?

주요 결과

• 두 가지 선도적인 VQA 아키텍처의 성능은 새로운 객체에서 알려진 객체 대비 최대 28% 감소한다.
• 외부 텍스트 코퍼스를 사용한 제안된 방법은 개방형 질문 카테고리에서 새로운 객체 서브셋에서 최대 8.7%의 정확도 향상을 달성한다.
• 외부 텍스트 데이터 사용은 외부 이미지 데이터 사용보다 유의미하게 더 큰 성능 향상을 제공하며, 이미지 데이터 사용은 소량 또는 거의 향상이 없다.
• 모델은 오라클 및 일반(비오라클) 설정 모두에서 일관된 향상을 보이며, 명시적 새로운 객체 레이블의 부재에 대비한 강건성을 입증한다.
• 정성적 분석 결과, 새로운 객체가 알려진 객체와 의미적으로 관련이 있을 경우 모델은 성공하지만, 의미적 연결이 약하거나 모호할 경우 실패한다.
• 이 방법은 모odular하며 다양한 VQA 아키텍처에 통합 가능하여 광범위한 적용 가능성을 보여준다.