[논문 리뷰] Visual Madlibs: Fill in the blank Image Generation and Question Answering

Licheng Yu, Eunbyung Park외 2명|arXiv (Cornell University)|2015. 05. 31.

Multimodal Machine Learning Applications참고 문헌 32인용 수 80

한 줄 요약

이 논문은 10,738장의 이미지에 대해 사람, 물체, 행동 및 맥락적 요소에 대한 세부적인 서술을 유도하기 위해 자동화된 템플릿을 사용한 360,001개의 타겟된 빈칸 채우기 서술을 포함하는 Visual Madlibs 데이터셋을 소개한다. 이는 집중적인 서술 생성과 다중 선택 이미지 질의 응답이라는 두 가지 새로운 작업을 제안하며, 공동 임베딩 및 CNN+LSTM 모델을 평가하여, 서술 생성에서는 후자가 더 높은 BLEU 점수를 기록하고, 세밀한 다중 선택 QA에서는 전자가 더 뛰어난 성능을 보이며, 특히 하드 음성 예제에서 두드러진다.

ABSTRACT

In this paper, we introduce a new dataset consisting of 360,001 focused natural language descriptions for 10,738 images. This dataset, the Visual Madlibs dataset, is collected using automatically produced fill-in-the-blank templates designed to gather targeted descriptions about: people and objects, their appearances, activities, and interactions, as well as inferences about the general scene or its broader context. We provide several analyses of the Visual Madlibs dataset and demonstrate its applicability to two new description generation tasks: focused description generation, and multiple-choice question-answering for images. Experiments using joint-embedding and deep learning methods show promising results on these tasks.

연구 동기 및 목표

• 채우기 전용 템플릿을 사용하여 이미지에 대한 세부적이고 타겟된 자연어 서술을 자동으로 수집할 수 있는 확장 가능한 방법을 개발하기 위해.
• 외관, 행동, 상호작용 및 맥락적 추론에 초점을 맞춘 12가지 질문 유형으로 구성된 360,001개의 서술을 포함하는 새로운 데이터셋인 Visual Madlibs를 구축하기 위해.
• 집중적인 서술 생성과 다중 선택 이미지 질의 응답이라는 두 가지 새로운 작업을 정의하고, 세밀한 난이도 조절을 통해 평가할 수 있도록 하기 위해.
• 이러한 새로운 작업에서 공동 임베딩 모델과 엔드 투 엔드 CNN+LSTM 시퀀스 모델 간의 성능을 비교하기 위해.
• 지식 기반 언어 이해 및 시각적 캡션 생성 분야의 연구를 촉진하기 위해 공개된 데이터와 벤치마크를 제공하기 위해.

제안 방법

• 행동에 대해선 '사람은 [공백]'과 같이 특정 시각적 특성에 초점을 맞춘 12종류의 빈칸 채우기 템플릿을 자동으로 생성한다. 예를 들어, '프리스비는 [공백]'은 외관에 대해 사용된다.
• 10,738장의 이미지에 대해 이 템플릿을 사용하여 인간 애너테이터로부터 360,001개의 서술을 수집하여 집중적이고 타겟된 언어적 애너테이션을 확보한다.
• 질문 유형별로 CNN+LSTM 모델을 훈련하여 이미지 특징과 프롬프트 접두어(예: '의자')에 조건을 주어 서술을 생성한다.
• 공동 임베딩 모델(nCCA)을 사용해 이미지와 텍스트를 공통된 공간으로 매핑하여, 코사인 유사도를 통한 제로샷 서술 생성 및 다중 선택 답변 선택을 가능하게 한다.
• 다중 선택 QA를 위해 생성된 서술과 후보 답변 간의 Word2Vec 코사인 유사도를 계산하고, 가장 유사한 것을 예측 답변으로 선정한다.
• R-CNN 검출기를 통해 추출한 바운딩 박스 특징을 사용하여 속성 예측 성능을 향상시키며, 진짜 박스와 검출된 박스를 비교한다.

실험 결과

연구 질문

• RQ1 자동화된 빈칸 채우기 템플릿은 행동, 외관, 맥락적 추론을 포함한 시각적 콘텐츠에 대해 세부적이고 타겟된 서술을 효과적으로 유도할 수 있는가?
• RQ2 다양한 질문 유형에서 공동 임베딩 모델과 엔드 투 엔드 시퀀스 모델 간의 집중적 이미지 서술 생성 성능는 어떻게 비교되는가?
• RQ3 제어된 음성 예제를 포함한 다중 선택 질의 응답은 이미지 서술 시스템에 대해 세밀하고 신뢰할 수 있는 평가 지표가 될 수 있는가?
• RQ4 시각적 특징으로 검출된 바운딩 박스를 사용하면 속성 관련 서술 작업의 성능 향상에 기여하는가?
• RQ5 MS COCO의 일반적 이미지 캡션과 비교할 때, Visual Madlibs의 인간 애너테이터 서술은 세부성과 다양성 측면에서 어떻게 다른가?

주요 결과

• CNN+LSTM 모델은 집중적 서술 생성에서 nCCA보다 더 높은 BLEU-1 및 BLEU-2 점수를 기록하여, 더 우아하고 정확한 성능을 보였다(예: 'obj pos'의 경우 0.71, 'per loc'의 경우 0.64).
• nCCA 모델은 다중 선택 질의 응답에서 CNN+LSTM을 능가했으며, 특히 하드 버전에서 두드러진 성능을 보였다. 전체 모델을 사용할 경우 'scene'의 경우 0.52, 'obj aff'의 경우 0.56의 정확도를 기록했다.
• 검출된 바운딩 박스를 사용하면 nCCA의 속성 예측 정확도가 향상되었으며(예: 'obj aff'의 경우 0.60 vs. 전체 이미지 사용 시 0.56), 다른 질문 유형에서는 성능 향상이 없었다.
• 최소 3/5의 Turkers가 정답에 동의한 하드 다중 선택 질문 서브셋에 대한 인간 애너테이션은 일관된 성능 패턴을 보였으며, 이 필터링된 세트에서 nCCA는 CNN+LSTM보다 높은 정확도를 유지했다.
• Visual Madlibs 데이터셋은 MS COCO의 일반적 이미지 캡션보다 더 세부적이고 맥락적으로 풍부한 서술을 포함하고 있으며, 행동, 외관, 감정 및 시간적 추론을 다루는 12가지의 구분된 질문 유형을 포함한다.
• 모든 질문 유형을 함께 훈련한 nCCA 모델(nCCA(all))은 쉬운 다중 선택 질문에서는 더 높은 정확도를 기록했지만, 세밀한 하드 유형에서는 성능이 열 劣하여, 작업별 특화된 미세조정이 유익할 수 있음을 시사한다.