[논문 리뷰] Automatic Generation of Grounded Visual Questions

Shijie Zhang, Lizhen Qu외 3명|arXiv (Cornell University)|2016. 12. 20.

Multimodal Machine Learning Applications참고 문헌 11인용 수 11

한 줄 요약

이 논문은 단일 이미지에서 다각적이고 시각적으로 기반한 질문을 자동으로 생성하기 위한 최초의 엔드 투 엔드 모델을 제안한다. 이 모델은 밀도 높은 캡션과 다단계 프레임워크를 활용하여 질문 유형을 선택하고 문법적으로 올바르며 맥락적으로 관련성이 높은 질문을 생성한다. 모델은 베이스라인을 크게 앞서며, VQA 데이터셋에서 최대 216% 높은 커버리지 성능을 기록하고 모든 평가 지표에서 더 뛰어난 문법성과 관련성 확보를 보였다.

ABSTRACT

In this paper, we propose the first model to be able to generate visually grounded questions with diverse types for a single image. Visual question generation is an emerging topic which aims to ask questions in natural language based on visual input. To the best of our knowledge, it lacks automatic methods to generate meaningful questions with various types for the same visual input. To circumvent the problem, we propose a model that automatically generates visually grounded questions with varying types. Our model takes as input both images and the captions generated by a dense caption model, samples the most probable question types, and generates the questions in sequel. The experimental results on two real world datasets show that our model outperforms the strongest baseline in terms of both correctness and diversity with a wide margin.

연구 동기 및 목표

• 시각적 입력에 기반한 자동으로 생성되며 다양한 질문을 생성할 수 있는 방법의 부족을 해결하기 위해.
• 기존 시스템이 이미지당 하나의 질문만 생성하거나 고정된 규칙 기반 패턴에 의존하는 한계를 극복하기 위해.
• 시각적 및 텍스트적 특징을 활용하여 이미지당 다수의 다양하고 문법적으로 올바른 질문을 생성할 수 있는 모델을 개발하기 위해.
• 수동으로 커리티드된 데이터셋으로 인해 제한되어 있는 VQA 데이터셋 내 질문의 다양성과 커버리지 향상을 위해.
• 고품질의 자동 질문 생성을 통해 VQA 시스템의 더 강력하고 확장 가능한 훈련을 가능하게 하기 위해.

제안 방법

• 모델은 입력 이미지에서 밀도 높은 캡션을 생성하기 위해 DenseCap를 사용하여 풍부한 시각적 맥락을 제공한다.
• 질문 유형 선택 모듈은 밀도 높은 캡션을 기반으로 가장 확률이 높은 질문 유형(예: '무엇', '어디', '어떻게')을 샘플링한다.
• 질문 생성기는 VGG-16에서 추출한 시각적 특징, 밀도 높은 캡션, 선택된 질문 유형을 통합하여 자연어 질문을 생성한다.
• 디코딩 중에 이원어 언어 모델을 통합하여 유창성 향상과 반복 감소를 도모함으로써 문법성 향상을 달성한다.
• 프레임워크는 시퀀스 투 시퀀스 학습과 어텐션 메커니즘을 사용하여 Visual7W와 VQA라는 두 가지 벤치마크 데이터셋에서 엔드 투 엔드로 훈련된다.
• 평가에는 이미지 캡션 및 기계 번역 분야에서 표준으로 사용되는 지표(BLEU, ROUGE-L, METEOR)를 사용하며, 이미지당 여러 개의 질문 생성 결과에 대한 커버리지 분석도 수행된다.

실험 결과

연구 질문

• RQ1 자동 모델이 단일 이미지에서 다수의 다양하고 시각적으로 기반된 질문을 생성할 수 있는가?
• RQ2 모델의 질문 다양성과 커버리지는 수동으로 커리티드된 데이터셋과 기존의 베이스라인 대비 어떻게 비교되는가?
• RQ3 이원어 언어 모델 통합이 생성된 질문의 문법성과 유창성에 어느 정도 기여하는가?
• RQ4 모델은 다양한 질문 유형에 일반화되면서도 시각적 콘텐츠에 높은 관련성을 유지할 수 있는가?
• RQ5 이미지당 생성되는 질문 수가 증가함에 따라 모델의 성능은 어떻게 변화하는가?

주요 결과

• 이미지당 여섯 개의 질문을 생성할 때, VQA 데이터셋에서 METEOR 기반 커버리지 측면에서 가장 강력한 베이스라인 대비 최대 216% 높은 성능을 기록했다.
• VQA 데이터셋에서 모델은 BLEU-4 점수를 베이스라인 대비 97% 향상시켜 참조 질문과의 n-gram 일치도 향상됨을 시사한다.
• ROUGE-L 점수는 일관된 향상을 보이며, 참조 답변과 더 긴 공통 부분 수열을 포함한 질문 생성을 확인한다.
• 이원어 언어 모델 통합으로 반복(예: 'the the')이 크게 감소하고, 더 높은 순서의 n-gram에서의 BLEU 점수 상승을 통해 유창성이 향상됨을 입증했다.
• 모델이 생성한 질문 유형의 분포는 수동으로 커리티드된 데이터셋보다 더 균형 잡혀 있으며, '무엇' 질문에 대한 편향이 심한 수준(Visual7W: 55%, VQA: 89%)을 보이는 것과 대비된다.
• 생성된 질문의 길이 분포는 인간이 애너테이션한 질문과 유사하여 자연스럽고 다양한 문장 길이를 갖는다는 것을 시사한다.