[논문 리뷰] Image-Grounded Conversations: Multimodal Context for Natural Question and Response Generation

Nasrin Mostafazadeh, Chris Brockett외 5명|arXiv (Cornell University)|2017. 01. 28.

Multimodal Machine Learning Applications참고 문헌 38인용 수 117

한 줄 요약

본 논문은 이미지 기반 대화(IGC) task를 도입하고 IGCCrowd 데이터셋을 제시하며, 시각적 및 텍스트 맥 context를 활용해 이미지에 대한 질문과 응답을 생성하는 다중 모달 생성 및 검색 모델을 평가하고, 베이스라인 대비 향상을 보였으나 인간 성능과의 격차가 남아 있음을 보여준다.

ABSTRACT

The popularity of image sharing on social media and the engagement it creates between users reflects the important role that visual context plays in everyday conversations. We present a novel task, Image-Grounded Conversations (IGC), in which natural-sounding conversations are generated about a shared image. To benchmark progress, we introduce a new multiple-reference dataset of crowd-sourced, event-centric conversations on images. IGC falls on the continuum between chit-chat and goal-directed conversation models, where visual grounding constrains the topic of conversation to event-driven utterances. Experiments with models trained on social media data show that the combination of visual and textual context enhances the quality of generated conversational turns. In human evaluation, the gap between human performance and that of both neural and retrieval architectures suggests that multi-modal IGC presents an interesting challenge for dialogue research.

연구 동기 및 목표

• 이미지 맥락과 동반 텍스트 모두에 기반한 대화로 멀티모달 대화 태스크를 동기 부여한다.
• IGCCrowd를 위한 crowd-sourced, 이벤트 중심의 데이터셋을 제공하여 IGC를 벤치마킹한다.
• 시각적 맥락과 텍스트 맥락을 활용한 Q&A 및 응답에서 신경망 생성 및 검색 접근법을 조사한다.
• 멀티모달 맥 context가 생성된 질문 및 응답의 품질과 특성에 어떤 영향을 미치는지 분석한다.

제안 방법

• IGC 태스크를 두 단계로 정의한다: 이미지 I와 텍스트 맥 context T가 주어졌을 때의 질문 생성, 그리고 I, T, Q가 주어졌을 때의 응답 생성.
• IGCCrowd와 IGCTwitter 데이터를 구축하여 학습 및 평가에 활용한다; IGCCrowd는 이벤트 중심 이미지와 함께 4,222개의 다회 대화를 제공한다.
• 비주얼 피처(VGG fc7)와 텍스트 맥 context를 융합하는 생성 모델을 구현한다: V-Gen, T-Gen, 및 V&T-Gen(BOW 또는 RNN 텍스트 표현과 함께).
• 시각 맥 context만 사용하는 검색 모델(V-Ret) 또는 시각+텍스트 맥 context를 사용하는 검색 모델(V&T-Ret)을 구현한다.
• 디코딩 시 빔 탐색과 재랭킹을 사용하여 p(h|C)와 길이, 다양성, V 기반 패널티를 결합한 점수 함수로 재랭킹한다.

실험 결과

연구 질문

• RQ1 다중 모달(이미지+텍스트) 맥 Context가 이미지 기반 대화에서 자연스러운 질문 및 응답 생성을 개선할 수 있는가?
• RQ2 비전과 언어에 기반한 Q 및 R 태스크에서 생성 및 검색 접근법은 어떻게 비교되는가?
• RQ3 이벤트 중심의 기반화, 프레임, CaTeRS 관계 등의 데이터셋 특성이 IGC 및 그 도전에 대해 무엇을 드러내는가?
• RQ4 IGC 설정에서 인간 평가와 자동 평가지표(BLEU)가 얼마나 차이가 나는가?

주요 결과

• 다중 모달 맥 context가 인간 평가에서 생성된 질문과 응답의 품질을 단일 모달 베이스라인보다 향상시킨다.
• 다중 참조 BLEU에서 Visual&Textual(V&T) 모델이 다른 모델보다 우수하나, 이벤트 중심 훈련 데이터의 혜택을 받는 고품질 Visual Question Generation(VQG) 베이스라인이 예외로 나타난다.
• 상위 생성 가설은 재랭킹된 것보다 항상 인간 심사자가 선호하며, 이는 안전성/일반성 vs 콘텐츠 풍부성 간의 트레이드오프를 시사한다.
• 출력의 다양성으로 인해 BLEU 점수는 일반적으로 낮지만, V&T 모델은 테스트 세트 전반에서 VQG를 제외한 베이스라인 중 최고의 자동 성능을 달성한다.
• IGCCrowd는 현재 모델과 인간 성능 간의 남은 격차를 멀티모달 대화 태스크에서 드러내는 견고하고 도전적인 벤치마크를 제공한다.