[논문 리뷰] CLEVR-Dialog: A Diagnostic Dataset for Multi-Round Reasoning in Visual Dialog

Satwik Kottur, José M. F. Moura외 3명|arXiv (Cornell University)|2019. 03. 07.

Multimodal Machine Learning Applications참고 문헌 19인용 수 50

한 줄 요약

이 논문은 시각적으로 근거한 대화에서 다단계 추론을 연구하기 위한 대규모 합성 진단 데이터셋인 CLEVR-Dialog를 소개합니다. 전체 주석이 달린 장면 그래프를 갖추고 있으며 시각 대화에서 핵심 지칭 해소를 벤치마크합니다.

ABSTRACT

Visual Dialog is a multimodal task of answering a sequence of questions grounded in an image, using the conversation history as context. It entails challenges in vision, language, reasoning, and grounding. However, studying these subtasks in isolation on large, real datasets is infeasible as it requires prohibitively-expensive complete annotation of the 'state' of all images and dialogs. We develop CLEVR-Dialog, a large diagnostic dataset for studying multi-round reasoning in visual dialog. Specifically, we construct a dialog grammar that is grounded in the scene graphs of the images from the CLEVR dataset. This combination results in a dataset where all aspects of the visual dialog are fully annotated. In total, CLEVR-Dialog contains 5 instances of 10-round dialogs for about 85k CLEVR images, totaling to 4.25M question-answer pairs. We use CLEVR-Dialog to benchmark performance of standard visual dialog models; in particular, on visual coreference resolution (as a function of the coreference distance). This is the first analysis of its kind for visual dialog models that was not possible without this dataset. We hope the findings from CLEVR-Dialog will help inform the development of future models for visual dialog. Our dataset and code are publicly available.

연구 동기 및 목표

• 시각 대화에서 시각-언어-추론 하위 문제(시각, 언어, 접지, 기억)를 독립적으로 연구하도록 동기를 부여한다.
• CLEVR 장면 그래프에 대화 문법을 접지시켜 대규모의 포괄적으로 주석된 진단 데이터세트를 제공한다.
• 대화 이력과 코퍼런스 거리(coreference distance)가 모델 성능에 어떤 영향을 미치는지 분석을 가능하게 한다.
• 기준 시각 대화 모델을 벤치마킹하고 시각적 코어퍼런스 해소 능력을 진단한다.

제안 방법

• CLEVR 장면 그래프에 접지된 대화 문법을 구성하여 완전히 주석이 달린 시각 대화를 생성한다.
• 프리미티브들 (Sample, Unique, Count, Group, Filter, Exist, Relate)을 사용하여 캡션과 질문 템플릿을 구축한다.
• 규칙 기반 문법과 빔 탐색(beam search)을 사용하여 다양한 중복되지 않는 대화를 보장하는 캡션과 질문을 생성한다.
• 각 CLEVR 이미지에 완전한 장면 그래프를 주석으로 달고 이력 의존적 대화 상태를 추적한다.
• CLEVR-Dialog에서 CorefNMN을 포함한 신경망 모델을 벤치마킹하여 코퍼런스 거리(coreference distance)와 히스토리 의존성(history dependency)에 따른 성능을 분석한다.

실험 결과

연구 질문

• RQ1 시각 대화에서 코퍼런스 해소 성능은 코퍼런스 거리가 증가함에 따라 어떻게 저하되는가?
• RQ2 다양한 시각 대화 모델은 대화 이력을 이용해 이미지에 근거한 질문에 어떻게 대답하는가?
• RQ3 히스토리 의존적 질문이 모델 간 전체 정확도에 미치는 영향은 무엇인가?
• RQ4 시각 대화에서 코퍼런스와 히스토리 기반 추론을 가장 잘 처리하는 모델 아키텍처는 무엇인가?

주요 결과

• CLEVR-Dialog는 실제 데이터셋으로는 불가능한 시각적 코퍼런스 및 이력 의존성의 대규모 분석을 가능하게 한다.
• CorefNMN은 CLEVR-Dialog에서 68.0% 정확도를 달성하여 여러 베이스라인보다 우수하며 명시적 코퍼퍼런스 모델링의 가치를 보여준다.
• 히스토리 의존적 질문(특히 장거리 코퍼런스를 요구하는 경우)은 일부 모델(HRE-QIH)이 대화 수준 요약을 활용하여 모든 질문에서 코퍼런스 중심 아키텍처를 능가할 수 있음을 시사한다.
• CLEVR-Dialog의 평균 코퍼런스 거리은 3.2 라운드이며 거리 범위도 더 넓은(1에서 10까지) 것으로, MNIST-Dialog보다 더 도전적인 다룬 라운드 추론을 나타낸다.
• 데이터셋 통계는 85k CLEVR 이미지에 대해 3.5M 학습 QA 쌍과 0.75M 검증 QA 쌍을 보여주며, 이미지당 10라운드인 5개의 인스턴스 대화로 구성된다.
• 다양한 질문 유형(count, exist, seek)과 풍부한 이력 의존성 분포는 이전 합성 데이터셋보다 더 높은 언어 다양성과 추론 요구를 보여준다.