[논문 리뷰] FlipDial: A Generative Model for Two-Way Visual Dialogue

Daniela Massiceti, N. Siddharth외 2명|arXiv (Cornell University)|2018. 02. 11.

Multimodal Machine Learning Applications참고 문헌 24인용 수 16

한 줄 요약

FlipDial은 이미지와 캡션을 바탕으로 질문과 답변을 번갈아 생성하는 생성형 컨volution 신경망 기반 모델을 제안한다. 이는 단일 에이전트가 이미지와 캡션에 기반한 질문과 답변을 번갈아 생성할 수 있도록 하며, 일방향 시각 대화(1vd) 작업에서 최신 기술 수준(SOTA) 성능을 달성하고, 양방향 시각 대화(2vd)에 대한 첫 번째 베이스라인을 수립하며, 질문의 관련성과 잠재 대화 다양성에 대한 새로운 평가 지표를 도입한다.

ABSTRACT

We present FlipDial, a generative model for visual dialogue that simultaneously plays the role of both participants in a visually-grounded dialogue. Given context in the form of an image and an associated caption summarising the contents of the image, FlipDial learns both to answer questions and put forward questions, capable of generating entire sequences of dialogue (question-answer pairs) which are diverse and relevant to the image. To do this, FlipDial relies on a simple but surprisingly powerful idea: it uses convolutional neural networks (CNNs) to encode entire dialogues directly, implicitly capturing dialogue context, and conditional VAEs to learn the generative model. FlipDial outperforms the state-of-the-art model in the sequential answering task (one-way visual dialogue) on the VisDial dataset by 5 points in Mean Rank using the generated answers. We are the first to extend this paradigm to full two-way visual dialogue, where our model is capable of generating both questions and answers in sequence based on a visual input, for which we propose a set of novel evaluation measures and metrics.

연구 동기 및 목표

• 일방향 답변 전용 모델을 넘어서, 시각 대화에서 질문과 답변을 모두 생성할 수 있는 통합 생성 모델을 개발하는 것.
• 실제 운영 환경을 시뮬레이션하기 위해 테스트 시점에 예측된 대화 기록을 사용하는 실질적인 자동 회귀 대화 생성을 가능하게 하는 것.
• 양방향 시각 대화를 위한 새로운 평가 지표를 제안하고 검증하여, 이러한 모델에 대한 표준화된 벤치마크 부족 문제를 해결하는 것.
• 컨volution 신경망이 대화 턴 간의 순차적 의존성을 어떻게 모델링할 수 있는지 탐색하며, 암묵적으로 맥락을 포착하는지 확인하는 것.
• 컨volution 신경망 기반의 시퀀스 인코딩을 갖춘 조건부 변동 자동차오더(conditional variational autoencoders, cVAEs)가 다양하고 맥락에 부합하며 의미적으로 일관된 대화를 생성할 수 있는지 입증하는 것.

제안 방법

• FlipDial은 이미지, 캡션, 대화 기록을 조건으로 하여 깊이 있는 생성 모델을 학습하기 위해 조건부 변동 자동차오더(cVAE) 프레임워크를 사용한다.
• 전체 대화 시퀀스를 텐서로 인코딩하기 위해 컨volution 신경망(CNNs)을 활용하여, 턴 간 장거리 의존성과 맥락을 암묵적으로 모델링한다.
• 잠재 변수의 조건부 사전 분포에서 샘플링을 통해 답변과 질문을 자동으로 회귀적으로 생성하며, 추론은 학습 데이터를 통해 암시적으로 약화된다.
• 양방향 대화(2vd)에서는 이미지, 캡션, 이전 대화 기록을 조건으로 하여 단일 순전파에서 질문과 답변을 번갈아 생성한다.
• 두 가지 새로운 평가 지표를 도입한다: $\text{sim}_{\bm{c},\bm{q}}$는 생성된 질문과 이미지 캡션 간의 의미 유사도를 측정하고, $\text{sim}_{\circlearrowleft}$는 생성된 대화와 진짜 대화 간 잠재 공간에서의 KL 발산을 측정한다.
• 모델은 실제 환경을 반영하기 위해 테스트 시점에 진짜 대화 기록 대신 예측된 대화 기록을 사용하는 설정에서 훈련 및 평가된다. 이는 실용적 적용성을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 생성 모델이 맥락에 기반한 대화에서 일관성과 관련성을 유지하면서 질문과 답변을 효과적으로 번갈아 생성할 수 있는가?
• RQ2 컨볼루션 신경망 기반의 시퀀스 인코딩 접근법이 시각 대화에서 대화 턴 간의 순차적 의존성을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 깊이가 증가하는 자동 회귀 모델링이 양방향 시각 대화에서 생성된 대화의 다양성과 품질을 얼마나 향상시키는가?
• RQ4 새로운 자동 평가 지표인 $\text{sim}_{\bm{c},\bm{q}}$와 $\text{sim}_{\circlearrowleft}$가 특히 양방향 설정에서 생성된 시각 대화의 품질을 신뢰성 있게 평가할 수 있는가?
• RQ5 테스트 시점에 진짜 대화 기록 대신 예측된 대화 기록을 사용할 경우 모델 성능에 악영향을 미치는가? 그리고 이러한 제약 조건 하에서도 여전히 고품질의 대화를 생성할 수 있는가?

주요 결과

• FlipDial은 생성된 답변을 사용하여 VisDial 1vd 벤치마크에서 평균 순위(Mean Rank) 14.8을 달성하여 이전 SOTA 모델보다 5점 향상되었다.
• 이 모델은 이전에 통합 생성 프레임워크로 다루어지지 않은 양방향 시각 대화(2vd) 작업에서 새로운 최신 기술 수준 베이스라인을 설정하였다.
• 자기 회귀 레이어 수가 8에서 10으로 증가함에 따라 잠재 대화 산산도 지표 $\text{sim}_{\circlearrowleft}$는 31.50에서 44.34로 증가하여 생성된 대화의 다양성이 향상됨을 나타낸다.
• 질문 관련성 지표 $\text{sim}_{\bm{c},\bm{q}}$는 다양한 모델 간 일관된 성능을 보이며, 약 0.41~0.49 수준을 유지하여 생성된 질문이 이미지 캡션과 의미적으로 일치함을 시사한다.
• 예측 기록을 사용하는 반복 평가에서 교차 엔트로피 손실은 B 모델의 31.18에서 B_AR10의 24.93으로 감소하여, 더 깊은 자기 회귀 모델링이 실제 테스트 조건에서 생성 품질 향상에 기여함을 보여준다.
• 정성적 분석을 통해 FlipDial은 다양하고 일관되며 맥락에 부합하는 질문-답변 쌍을 생성함을 확인하였으며, 대부분의 경우 반복이나 비논리적인 출력이 없었다.