[논문 리뷰] Creativity: Generating Diverse Questions using Variational Autoencoders

Unnat Jain, Ziyu Zhang외 1명|arXiv (Cornell University)|2017. 04. 11.

Multimodal Machine Learning Applications참고 문헌 65인용 수 34

한 줄 요약

이 논문은 단일 이미지 입력으로부터 다양하고 창의적인 질문을 생성하기 위해 LSTM 기반 디코딩을 갖춘 변분 오토인코더(VAE)를 제안한다. 넓은 잠재공간 분포에서 샘플링을 통해 모델은 문맥적 질문과 추론적 질문을 포함한 다양한 질문을 생성하며, 이미지당 평균 63.83개의 고유한 질문을 생성하고, 이 중 36.92%는 훈련 데이터에 존재하지 않아, 단순한 시각적 인식을 초월한 인간과 유사한 추론 능력과 뛰어난 생성 다양성을 입증한다.

ABSTRACT

Generating diverse questions for given images is an important task for computational education, entertainment and AI assistants. Different from many conventional prediction techniques is the need for algorithms to generate a diverse set of plausible questions, which we refer to as "creativity". In this paper we propose a creative algorithm for visual question generation which combines the advantages of variational autoencoders with long short-term memory networks. We demonstrate that our framework is able to generate a large set of varying questions given a single input image.

연구 동기 및 목표

• 자동화된 시각적 질문 생성에서의 다양성 부족 문제를 해결하여 교육 및 대화형 AI 시스템의 참여도를 제고하고자 한다.
• 단일 이미지 기반으로 정확한 질문뿐만 아니라, 사실적인 질문에서 추론적 질문에 이르기까지 창의적이고 다양한 질문을 생성할 수 있는 생성 모델을 개발하고자 한다.
• 수동으로 제작된 반복적인 질문 패tern을 피하기 위해 AI 시스템이 사용자의 관심을 유도할 수 있도록 하기 위함이다.
• 잠재공간 샘플링 전략이 생성된 질문의 다양성과 신선도에 미치는 영향을 탐구하고자 한다.
• 모델이 직접적인 시각적 자극을 초월해 사전 지식(예: 물체, 장면, 동작 등에 대한 지식)이 필요한 추론 질문을 얼마나 잘 생성할 수 있는지 평가하고자 한다.

제안 방법

• 모델는 이미지 특징과 질문 텍스트를 공유되는 저차원 잠재공간에 통합하기 위해 변분 오토인코더를 사용한다.
• 이미지 특징는 사전 훈련된 CNN를 통해 추출되며, 질문 시퀀스는 LSTM 기반 인코더를 통해 인코딩된다.
• 추론 과정에서 모델은 넓은 잠재분포(예: U(−20,20))에서 샘플링하여 탐색과 다양성을 장려한다.
• 조건부 LSTM 디코더는 이미지 특징 임베딩과 샘플된 잠재코드를 참조하여 질문을 생성한다.
• 모델는 재구성 손실과 KL 발산을 사용하여 잠재공간을 정규화하는 방식으로 엔드 투 엔드로 훈련된다.
• 샘플링 전략을 다양하게 조절(예: 표준 정규분포 대비 균일분포)하여 질문의 다양성과 신선도에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 VAE-LSTM 프레임워크는 단일 이미지 입력으로부터 다수의 다양하고 중복되지 않는 질문을 생성할 수 있는가?
• RQ2 잠재공간 샘플링 분포의 선택이 생성된 질문의 다양성과 신선도에 어떤 영향을 미치는가?
• RQ3 모델는 직접적인 시각적 자극을 초월해 세계 지식이 필요한 추론 질문을 얼마나 잘 생성할 수 있는가?
• RQ4 유창성과 다양성 측면에서 기존 베이스라인 모델 대비 모델의 성능은 어떠한가?
• RQ5 모델가 잘못 인식하거나 공존하는 시각적 패턴에 기반해 질문을 생성할 때 나타나는 고장 유형은 무엇인가?

주요 결과

• Bing 데이터셋에서 모델은 이미지당 평균 63.83개의 고유한 질문을 생성하였고, 이 중 36.92%는 훈련 세트에 존재하지 않았다.
• COCO 데이터셋에서는 이미지당 평균 46.10개의 고유한 질문을 생성하였으며, 이 중 26.99%는 훈련 데이터에 존재하지 않았다.
• VQG-COCO에서 모델의 코퍼스-BLEU 점수는 0.192를 기록하여 유창성 측면에서 최고 성능을 보인 베이스라인 모델과 동일한 성능을 달성했다.
• VQG-COCO에서 코퍼스-METEOR 점수는 0.197에 도달하여 코퍼스 수준에서 인간 평가와 강한 일치를 보였다.
• 잠재공간에서 균일분포 U(−20,20)를 사용해 샘플링할 경우 표준 정규분포 샘플링 대비 질문의 다양성이 뚜렷이 향상되었다.
• 고장 사례로는 인식 오류(예: 항공기 한 대를 여러 대의 기체로 오인)와 공존 편향(예: 녹색 채소가 없는 음식 이미지에서 녹색 채소에 대한 질문 생성) 등이 관찰되었다.