[논문 리뷰] Information Maximizing Visual Question Generation

Ranjay Krishna, Michael S. Bernstein외 1명|arXiv (Cornell University)|2019. 03. 27.

Multimodal Machine Learning Applications참고 문헌 66인용 수 9

한 줄 요약

이 논문은 이미지, 질문, 기대되는 답변 카테고리 간 상호정보량을 최대화하여 목표 지향적이고 다양한 질문을 생성하는 정보 최대화 시각질문 생성기(Information Maximizing Visual Question Generator)를 제안한다. 변동형 잠재공간과 이중 정규화를 사용하여 지도된 답변이 없는 경우에도 질문 생성이 가능하게 하여 실세계 적용에서 질문의 다양성과 새로운 시각적 개념 탐지 능력을 크게 향상시켰다.

ABSTRACT

Though image-to-sequence generation models have become overwhelmingly popular in human-computer communications, they suffer from strongly favoring safe generic questions ("What is in this picture?"). Generating uninformative but relevant questions is not sufficient or useful. We argue that a good question is one that has a tightly focused purpose --- one that is aimed at expecting a specific type of response. We build a model that maximizes mutual information between the image, the expected answer and the generated question. To overcome the non-differentiability of discrete natural language tokens, we introduce a variational continuous latent space onto which the expected answers project. We regularize this latent space with a second latent space that ensures clustering of similar answers. Even when we don't know the expected answer, this second latent space can generate goal-driven questions specifically aimed at extracting objects ("what is the person throwing"), attributes, ("What kind of shirt is the person wearing?"), color ("what color is the frisbee?"), material ("What material is the frisbee?"), etc. We quantitatively show that our model is able to retain information about an expected answer category, resulting in more diverse, goal-driven questions. We launch our model on a set of real world images and extract previously unseen visual concepts.

연구 동기 및 목표

• 최대우도 학습에 의해 생성되는 일반적이고 정보가 부족한 질문을 유발하는 기존 시각질문 생성 모델의 한계를 해결하기 위해.
• 객체, 특성, 색상, 재질 등의 특정 답변 카테고리를 유도할 수 있도록 목표 지향적인 질문 생성 프레임워크를 설계하기 위해.
• 변동형 모델에서 이산 언어 토큰의 비가역성과 상호정보량 최대화 과정에서 발생하는 후행분포 붕괴 문제를 해결하기 위해.
• 기대되는 답변이 알려지지 않은 경우에도, 답변 카테고리에 대한 정규화된 잠재공간을 학습함으로써 질문 생성이 가능하도록 하기 위해.
• 실세계 이미지 데이터셋에서 새로운 시각적 개념을 탐지할 수 있는 능력을 평가하고 이를 입증하기 위해.

제안 방법

• 이미지, 질문, 기대되는 답변 간의 상호정보량을 최대화하기 위해 연속적인 잠재공간을 사용하는 변동형 오토인코더로 시각질문 생성을 공식화한다.
• 이미지-질문-답변의 공동 표현을 위한 주 잠재공간과 답변 카테고리에 의해 정규화된 보조 잠재공간을 도입하여 후행분포 붕괴를 방지한다.
• 잠재공간이 질문 생성에 필요한 정보를 유지하도록 이미지 및 답변 표현에 대한 재구성 손실을 사용한다.
• 주 잠재공간과 보조 잠재공간 간의 KL 발산을 최소화하여 모델의 질문 생성이 답변 카테고리 기대치와 일치하도록 한다.
• 15개의 답변 카테고리를 상위 500개의 답변에 주석 처리한 VQA 데이터셋을 사용하여 카테고리 인식 질문 생성을 가능하게 한다.
• 실세계 소셜 미디어 이미지에 모델을 구현하기 위해 ResNet18 분류기를 사용해 답변 카테고리를 예측한 후, 지도된 답변이 없는 상태에서 질문을 생성한다.

실험 결과

연구 질문

• RQ1 객체, 특성, 색상, 재질 등의 특정 답변 카테고리에 초점을 맞춘 일반적이지 않은 질문을 생성할 수 있는 시각질문 생성 모델을 학습시킬 수 있는가?
• RQ2 이산 언어 토큰의 비가역성으로 인해 이미지, 질문, 기대되는 답변 간의 상호정보량을 어떻게 최대화할 수 있는가?
• RQ3 이중 잠재공간 아키텍처가 후행분포 붕괴를 방지하고 기대되는 답변이 알려지지 않은 경우에도 효과적인 질문 생성을 가능하게 할 수 있는가?
• RQ4 모델이 실세계 이미지에서 이전에 알려지지 않은 시각적 개념을 탐지하는 데 얼마나 높은 수준의 다양성과 새로운 질문을 생성하는가?
• RQ5 모델의 성능이 관련성, 다양성, 이미지 및 답변과의 상호정보량 측면에서 기준 모델 대비 어떻게 비교되는가?

주요 결과

• 실세계 배포에서 기준 모델인 V-IC2Q 대비 질문의 다양성이 크게 향상되었으며, 411개 질문 중 80개의 새로운 물체 개념을 탐지했고, 기준 모델은 오직 10개에 그쳤다.
• 실세계 배포에서 제안된 모델이 생성한 질문 중 97.2%가 기대되는 답변 카테고리와 관련성이 있었으며, 기준 모델은 56.8%에 그쳤다.
• 모델은 특히 '형태'와 '재질' 카테고리에서 더 높은 다양성을 달성하여 '무엇이 ____로 만들어졌나요?'와 같은 새로운 질문을 생성했다.
• 지도된 답변이 없는 상태에서 질문을 생성함에도 불구하고, 인류 평가에서 100%의 관련성을 유지하여 이미지에 강력한 관련성을 유지했다.
• 답변 카테고리에 의해 정규화된 보조 잠재공간을 사용함으로써 일반화 능력이 향상되고 훈련 데이터셋의 특정 답변에 대한 과적합이 감소했다.
• 답변 무관 생성으로 인해 언어 모델링 점수가 낮아졌음에도 불구하고, '배트맨은 무엇으로 만들어졌나요?'와 같은 높은 품질의 맥락 기반 질문을 생성했다.