[논문 리뷰] GuessWhat?! Visual object discovery through multi-modal dialogue

Harm de Vries, Florian Strub외 4명|arXiv (Cornell University)|2016. 11. 23.

Multimodal Machine Learning Applications참고 문헌 36인용 수 18

한 줄 요약

이 논문은 MS COCO에서 66,537장의 이미지에 걸쳐 150,000개의 다중턴 시각 대화를 포함한 대규모 인간 레이블링 데이터셋인 GuessWhat?! 을 소개한다. 이 데이터셋에는 총 831,889개의 질문-답변 쌍이 포함되어 있으며, 이는 시각 기반 언어 이해 연구를 가능하게 하는 두 명의 플레이어가 참여하는 게임 기반 프레임워크를 제공한다. 한 플레이어는 목표 물체를 특정하기 위해 예/아니요 질문을 던지며, 다른 플레이어는 그에 따라 진실된 답변을 제공한다. 딥 러닝 기반 모델들은 상호작용적이고 맥락 인식 기반 대화를 통해 언어를 시각에 어떻게 매립할 수 있는지에 대한 과제를 입증한다.

ABSTRACT

We introduce GuessWhat?!, a two-player guessing game as a testbed for research on the interplay of computer vision and dialogue systems. The goal of the game is to locate an unknown object in a rich image scene by asking a sequence of questions. Higher-level image understanding, like spatial reasoning and language grounding, is required to solve the proposed task. Our key contribution is the collection of a large-scale dataset consisting of 150K human-played games with a total of 800K visual question-answer pairs on 66K images. We explain our design decisions in collecting the dataset and introduce the oracle and questioner tasks that are associated with the two players of the game. We prototyped deep learning models to establish initial baselines of the introduced tasks.

연구 동기 및 목표

• 인간과 유사한 시각적 추론을 대화를 통해 모델링하여, 시각 기반 언어 이해와 다중 모달 대화에 대한 확장 가능한 상호작용 기반 벤치마크를 개발한다.
• 협동 게임 환경에서 순차적이고 맥락 인식 기반 질문을 통해 자연어를 시각적 장면에 어떻게 매립할 수 있는지에 도전하는 과제를 해결한다.
• 시각-언어 모델의 훈련 및 평가를 위한 상호작용적이고 목표 지향적인 대화 환경을 지원하는 대규모 인간 레이블링 데이터셋을 제공한다.
• 시각 대화에서 질문자와 옥서의 역할을 위한 기준 모델을 수립하여 언어 매립 및 시각적 추론의 평가를 가능하게 한다.

제안 방법

• GuessWhat?! 게임은 협동적인 이중 플레이어 작업으로 구성된다: 질문자는 장면 내 목표 물체를 예/아니요 질문을 통해 특정하고, 옥서는 숨겨진 물체에 기반해 사실 그대로 답변한다.
• 66,537장의 MS COCO 이미지에서 인간 플레이어를 대상으로 총 155,280개의 대화(831,889개의 QA 쌍)로 구성된 대규모 데이터셋을 수집하였으며, 언어 및 시각적 추론의 다양성과 현실성을 확보하기 위한 명시적 설계 선택 사항을 포함한다.
• 질문자 작업은 이미지의 VGG-19 특징에 조건부된 계층적 순환 인코더-디코더(HRED) 아키텍처로 모델링되며, 질문 시퀀스의 조건부 로그우도를 최대화하도록 훈련된다.
• 옥서 작업은 이미지 특징과 질문 임베딩에 기반한 이진 분류 헤드로 모델링되며, 목표 물체의 존재 여부에 따라 예/아니요 답변을 예측한다.
• 기준 모델은 두 가지 설정에서 평가된다: QGEN+GT(정답 답변으로 훈련) 및 QGEN+ORACLE(옥서가 생성한 답변으로 훈련), 오류 누적에 대한 내성적 저항력을 평가하기 위함이다.
• 평가에서는 대화 기록에서 목표 물체를 예측하는 추측자 모델을 사용하며, 오류율을 주요 지표로 삼아 생성된 질문의 품질을 평가한다.

실험 결과

연구 질문

• RQ1 지속 가능한 시각 기반 언어 이해 및 시각적 추론 연구를 지원하기 위해 어떻게 대규모 인간 레이블링 시각 대화 데이터셋을 수집할 수 있는가?
• RQ2 다중턴 시각 대화 환경에서 맥락에 부합하고 정보적인 질문을 생성하는 질문 생성기의 훈련에서 발생하는 주요 과제는 무엇인가?
• RQ3 불완전한 옥서 및 추측자 모델에서 발생하는 오류 누적 현상이 실제 상호작용 환경에서 질문 생성기 성능에 어떻게 영향을 미치는가?
• RQ4 HRED와 시각 조건부 기반 딥 러닝 모델이 시각 대화 작업에서 인간 수준의 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ5 GuessWhat?! 프레임워크는 일회 학습, 전이 학습 또는 다국어 대화와 같은 후행 작업을 지원할 수 있는가?

주요 결과

• 인간 레이블링된 GuessWhat?! 데이터셋은 총 66,537장의 이미지에 걸쳐 155,280개의 대화와 831,889개의 질문-답변 쌍을 포함하며, 시각 대화 연구에 풍부한 자원을 제공한다.
• 인간이 생성한 대화를 기반으로 훈련된 추측자 모델은 목표 물체를 특정하는 데 38.7%의 오류율을 기록하여 강력한 기준을 확립한다.
• QGEN+GT 모델(정답 답변으로 훈련)은 53.2%의 오류율을 기록하여 질문 생성기가 합리적으로 유의미한 질문을 생성할 수 있음을 시사한다.
• QGEN+ORACLE 모델(옥서가 생성한 답변으로 훈련)은 66.0%의 오류율을 기록하여 오류 누적 문제의 심각성을 드러내며, 상호작용 시스템에서의 과제를 강조한다.
• 무작위 기준 모델은 82.9%의 오류율을 기록하여, 이 작업이 비당연하며 제안된 모델이 우연을 초월해 의미 있는 패턴을 학습하고 있음을 확인한다.
• 결과는 현재 모델이 타당한 질문을 생성할 수는 있지만, 특히 실제 운영 환경에서의 추론 조건에서 인간 수준의 추론과 비교해도 여전히 큰 성능 격차가 존재함을 시사한다.