[논문 리뷰] Visual Dialog

Abhishek Das, Satwik Kottur외 6명|arXiv (Cornell University)|2016. 11. 26.

Multimodal Machine Learning Applications참고 문헌 52인용 수 30

한 줄 요약

이 논문은 이미지, 대화 기록, 질문을 바탕으로 시각적 콘텐츠에 대해 기반된 대화를 유지하는 AI 에이전트를 위한 작업인 Visual Dialog를 소개한다. 대규모 데이터셋(VisDial v0.9, 약 120만 개의 QA 쌍 포함), 후기 융합, 계층적 RNN, 메모리 네트워크를 포함한 신경망 모델 패밀리, 그리고 검색 기반 평가 프로토콜을 제안하며, 인간과의 성능 격차를 인간 연구를 통해 정량화한 최초의 功能적인 '시각 대화 챗봇'을 구현한다.

ABSTRACT

We introduce the task of Visual Dialog, which requires an AI agent to hold a meaningful dialog with humans in natural, conversational language about visual content. Specifically, given an image, a dialog history, and a question about the image, the agent has to ground the question in image, infer context from history, and answer the question accurately. Visual Dialog is disentangled enough from a specific downstream task so as to serve as a general test of machine intelligence, while being grounded in vision enough to allow objective evaluation of individual responses and benchmark progress. We develop a novel two-person chat data-collection protocol to curate a large-scale Visual Dialog dataset (VisDial). VisDial v0.9 has been released and contains 1 dialog with 10 question-answer pairs on ~120k images from COCO, with a total of ~1.2M dialog question-answer pairs. We introduce a family of neural encoder-decoder models for Visual Dialog with 3 encoders -- Late Fusion, Hierarchical Recurrent Encoder and Memory Network -- and 2 decoders (generative and discriminative), which outperform a number of sophisticated baselines. We propose a retrieval-based evaluation protocol for Visual Dialog where the AI agent is asked to sort a set of candidate answers and evaluated on metrics such as mean-reciprocal-rank of human response. We quantify gap between machine and human performance on the Visual Dialog task via human studies. Putting it all together, we demonstrate the first 'visual chatbot'! Our dataset, code, trained models and visual chatbot are available on this https URL

연구 동기 및 목표

• 시각적 이해와 자연어 상호작용에 기반한 기계지능을 위한 일반적인 벤치마크를 개발하기 위해.
• 12만 개의 COCO 이미지에 걸쳐 약 120만 개의 질문-답변 쌍을 포함한 다양하고 대규모인 Visual Dialog 데이터셋(VisDial v0.9)을 구축하기 위해.
• 후기 융합, 계층적 순환, 메모리 네트워크 인코더를 포함한 신경망 인코더-디코더 모델 패밀리를 설계하고 평가하기 위해.
• 평균 역수 순위(mRR)와 같은 지표를 사용하는 검색 기반 평가 프로토콜을 제안하여 모델 성능을 객관적으로 평가하기 위해.
• 인간 연구를 통해 최신 모델과 인간 성능 간의 격차를 정량화하기 위해.

제안 방법

• 다양하고 맥락이 풍부한 대화를 확보하기 위해 이미지에 대한 기반된 자연어 상호작용을 보장하는 두 명의 참여자로 구성된 대화 데이터 수집 프로토콜을 사용하였다.
• VisDial v0.9 데이터셋은 약 12만 개의 COCO 이미지에 걸쳐 각 이미지당 1개의 대화와 10개의 질문-답변 쌍을 포함하며, 총 120만 개의 QA 쌍을 포함한다.
• 세 가지 인코더 아키텍처를 제안하였다: 후기 융합(Late Fusion, 이미지 및 텍스트 특징의 조기 융합), 계층적 순환 인코더(Hierarchical Recurrent Encoder, RNN을 사용해 대화 기록 처리), 메모리 네트워크(Memory Network, 대화 기록의 장기 의존성 모델링).
• 두 가지 디코더를 평가하였다: 생성형 디코더(자기회귀적 생성)와 분류형 디코더(후보 답변 순위 매기기).
• 검색 기반 평가 프로토콜을 도입하였으며, 모델은 후보 답변을 순위 매기고 평균 역수 순위(mRR)와 같은 지표를 사용해 평가된다.
• Visual Dialog 작업에서 모델과 인간 간의 성능 격차를 측정하기 위해 인간 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 다중 턴 대화 동안 맥락 일관성과 시각적 기반을 유지할 수 있도록 시각 대화 시스템을 어떻게 설계할 수 있는가?
• RQ2 통합 프레임워크 내에서 이미지, 대화 기록, 질문을 효과적으로 인코딩할 수 있는 가장 효과적인 신경망 아키텍처는 무엇인가?
• RQ3 인간과 유사한 추론 및 언어 이해를 반영할 수 있는 방식으로 시각 대화 모델의 성능을 객관적으로 평가할 수 있는 방법은 무엇인가?
• RQ4 최신 모델과 인간 간의 Visual Dialog 작업에서 현재 성능 격차는 어느 정도인가?
• RQ5 이미지에 대한 기반된 다중 터미널 대화를 효과적으로 수집하고, 이를 기반으로 시각 에이전트를 훈련하고 벤치마크할 수 있는 확장 가능한 대규모 데이터셋을 구축할 수 있는가?

주요 결과

• VisDial v0.9 데이터셋은 12만 개의 이미지와 각각 10개의 질문-답변 쌍을 포함하며, 총 120만 개의 대화 턴을 포함하여 시각 대화 시스템의 종합적 평가를 가능하게 한다.
• 메모리 네트워크와 계층적 순환 인코더를 통합한 신경망 모델이 여러 고도로 발전한 베이스라인을 초월하여 성능을 냈다.
• 평균 역수 순위(mRR)를 사용하는 검색 기반 평가 프로토콜은 인간 응답과의 비교에서 모델 성능 평가에 신뢰성 있고 객관적인 지표를 제공하였다.
• 인간 연구를 통해 최고의 모델과 인간 간의 성능 격차가 뚜렷하게 드러났으며, 맥락적 추론과 시각적 기반 향상 여지가 있음을 시사하였다.
• 제안된 시각 대화 챗봇 시스템은 엔드 투 엔드의 대화 기반 시각 이해를 성공적으로 구현하였으며, 이는 유사한 구현 사례 중 최초의 사례이다.
• 데이터셋, 코드, 트레이닝된 모델, 상호작용 가능한 시각 대화 챗봇이 연구 및 개발을 위해 공개되어 있다.