[논문 리뷰] Multimodal Dialogue Response Generation

Qing‐Feng Sun, Yujing Wang외 8명|arXiv (Cornell University)|2021. 10. 16.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 텍스트와 이미지 생성 모듈을 분리하여 대규모 텍스트 전용 데이터와 텍스트-이미지 쌍 데이터를 활용할 수 있도록 설계된 저자원 다중모odal 대화 응답 생성 모델인 Divter를 제안한다. 다양한 오픈도메인 데이터에서 사전학습하고 소수의 다중모달 예시로 미세조정함으로써 Divter는 자동 평가 및 인간 평가에서 최신 기준(SOTA) 성능을 달성하며, 대화 맥락에 기반한 일관되고 고해상도의 이미지 응답을 생성한다.

ABSTRACT

Responsing with image has been recognized as an important capability for an intelligent conversational agent. Yet existing works only focus on exploring the multimodal dialogue models which depend on retrieval-based methods, but neglecting generation methods. To fill in the gaps, we first present a multimodal dialogue generation model, which takes the dialogue history as input, then generates a textual sequence or an image as response. Learning such a model often requires multimodal dialogues containing both texts and images which are difficult to obtain. Motivated by the challenge in practice, we consider multimodal dialogue generation under a natural assumption that only limited training examples are available. In such a low-resource setting, we devise a novel conversational agent, Divter, in order to isolate parameters that depend on multimodal dialogues from the entire generation model. By this means, the major part of the model can be learned from a large number of text-only dialogues and text-image pairs respectively, then the whole parameters can be well fitted using the limited training examples. Extensive experiments demonstrate our method achieves state-of-the-art results in both automatic and human evaluation, and can generate informative text and high-resolution image responses.

연구 동기 및 목표

• 저자원 조건에서 다중모달 대화 응답 생성에 있어 생성 기반 접근법의 부족을 해결하기 위해.
• 텍스트와 이미지가 모두 포함된 다중모달 대화 데이터 수집 시 데이터 부족 문제를 해결하기 위해.
• 오픈도메인 대화에서 텍스트와 고품질, 맥락 기반 이미지를 동시에 응답으로 생성할 수 있는 모델을 개발하기 위해.
• 고정된 이미지 레포지터리에 국한되거나, 도메인 외부 또는 장꼬리 주제에서 성능이 열 劣한 검색 기반 방법에 비해 일반화 능력을 향상시키기 위해.

제안 방법

• Divter는 두 단계 아키텍처를 사용한다: 텍스트 전용 대화 응답 생성기와 텍스트-이미지 번역기로, 모두 트랜스포머 인코더와 디코더 기반이다.
• 텍스트 응답 생성기는 대화 이력을 조건으로 하여 이미지 기술어를 포함할 수 있는 응답 시퀀스를 생성한다.
• 텍스트-이미지 번역기는 VAE 기반 이미지 생성기를 사용하여 생성된 이미지 기술어에서 고해상도이고 현실적인 이미지를 생성한다.
• 모델은 대규모 텍스트 전용 대화 데이터(예: DialoGPT)와 <이미지 기술어, 이미지> 쌍 데이터(예: COCO)에서 별도로 사전학습한 후, 소수의 다중모달 대화 예시에서 엔드 투 엔드로 미세조정한다.
• 파rameter 분리 기법을 통해 다중모달 전용 파라미터를 분리함으로써 대부분의 모델이 비다중모달 데이터에서 학습될 수 있도록 한다.
• 미세조정 단계에서의 공동 학습은 텍스트 맥락과 시각적 출력 간의 정렬을 가능하게 하여 일관성과 관련성 향상을 이룬다.

실험 결과

연구 질문

• RQ1 저자원 조건에서 생성 기반 접근법이 검색 기반 방법보다 다중모달 대화 응답 생성에서 더 우수한 성능을 낼 수 있는가?
• RQ2 소수의 다중모달 대화 예시만 존재할 때 모델이 텍스트와 이미지 응답을 효과적으로 생성할 수 있는가?
• RQ3 대규모 텍스트 전용 및 이미지-텍스트 데이터에서의 사전학습이 저자원 다중모달 대화 응답 생성에 어떤 영향을 미치는가?
• RQ4 텍스트 생성 및 이미지 생성 모듈 간의 상대적 기여도가 전체 응답 품질과 일관성에 어떤 영향을 미치는가?

주요 결과

• 자동 평가 지표에서 Divter는 검색 기반 베이스라인과 S2S-TF와 같은 강력한 생성 기반 베이스라인을 모두 능가하는 최신 기준(SOTA) 성능을 달성한다.
• 인간 평가 결과 Divter는 특히 다중모달 응답 품질 측면에서 베이스라인 대비 유의미하게 높은 관련성, 정보성 및 대화 경험을 제공한다.
• qualitative 사례 연구를 통해 모델은 대화 맥락과 일관된 고해상도이고 현실적인 이미지를 생성함을 확인할 수 있다.
• Ablation 실험 결과, 텍스트 전용 및 이미지-텍스트 데이터에서의 사전학습이 성능 향상에 필수적임을 입증하였으며, 특히 학습 데이터가 부족할 경우 더욱 두드러진다.
• 텍스트와 이미지 생성의 공동 학습은 각각을 별도로 학습하는 것보다 더 우수한 정렬과 일관성을 이룬다.
• 특히 장꼬리 주제나 도메인 외부 주제에서 검색 기반 모델에 비해 Divter가 더 잘 일반화되며, 잘못되거나 일관성 없는 이미지 검색을 피함을 확인했다.