[논문 리뷰] Text is NOT Enough: Integrating Visual Impressions into Open-domain Dialogue Generation

Lei Shen, Haolan Zhan외 3명|arXiv (Cornell University)|2021. 09. 13.

Multimodal Machine Learning Applications참고 문헌 66인용 수 4

한 줄 요약

이 논문은 텍스트 전용 개방형 대화 데이터에서 시각적 인상(VIs)을 구성함으로써 응답 생성을 향상시키는 두 단계 프레임워크인 VisAD를 제안한다. 사전 훈련된 단어-이미지 매핑 모델을 사용해 게시물과 응답의 시각적 인상(PVIs 및 RVIs)을 생성하고, 공액 주의 메커니즘 인코더와 캐스케이드 디코더를 통해 통합함으로써 대화 이해력과 응답 품질을 향상시킨다. 이는 DailyDialog 및 PersonaChat에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Open-domain dialogue generation in natural language processing (NLP) is by default a pure-language task, which aims to satisfy human need for daily communication on open-ended topics by producing related and informative responses. In this paper, we point out that hidden images, named as visual impressions (VIs), can be explored from the text-only data to enhance dialogue understanding and help generate better responses. Besides, the semantic dependency between an dialogue post and its response is complicated, e.g., few word alignments and some topic transitions. Therefore, the visual impressions of them are not shared, and it is more reasonable to integrate the response visual impressions (RVIs) into the decoder, rather than the post visual impressions (PVIs). However, both the response and its RVIs are not given directly in the test process. To handle the above issues, we propose a framework to explicitly construct VIs based on pure-language dialogue datasets and utilize them for better dialogue understanding and generation. Specifically, we obtain a group of images (PVIs) for each post based on a pre-trained word-image mapping model. These PVIs are used in a co-attention encoder to get a post representation with both visual and textual information. Since the RVIs are not provided directly during testing, we design a cascade decoder that consists of two sub-decoders. The first sub-decoder predicts the content words in response, and applies the word-image mapping model to get those RVIs. Then, the second sub-decoder generates the response based on the post and RVIs. Experimental results on two open-domain dialogue datasets show that our proposed approach achieves superior performance over competitive baselines.

연구 동기 및 목표

• 순수 텍스트 기반 대화 생성의 한계를 보완하기 위해 텍스트 전용 데이터에서 암묵적인 시각적 인상(VIs)을 통합하는 것.
• 대화 게시물과 응답 간의 의미적 비대칭성을 고려하기 위해 게시물 시각적 인상(PVIs)과 응답 시각적 인상(RVIs)을 구분하는 것.
• 테스트 시나리오에서 RVIs가 이용 가능하지 않은 상황에서도 효과적인 시각적 보강 응답 생성을 가능하게 하는 것.
• annotation이 있는 이미지-대화 쌍이 필요 없이 VIs를 구성하고 대화 생성에 통합하는 두 단계 프레임워크를 개발하는 것.

제안 방법

• Flickr30K 데이터셋을 기반으로 단어-이미지 매핑 모델을 훈련하여 대화 게시물의 내용어에 해당하는 이미지를 검색한다.
• 내용어—의미적으로 유의미한 용어—를 게시물에서 추출하여 이미지 검색을 통해 게시물 시각적 인상(PVIs)을 생성한다.
• PVIs의 텍스트 및 시각적 특징을 공액 주의 메커니즘 인코더를 통해 융합하여 더 rich한 게시물 표현을 생성한다.
• 캐스케이드 디코더를 설계한다: 첫 번째 서브디코더가 응답의 내용어를 예측하고, 이를 바탕으로 단어-이미지 모델을 통해 응답 시각적 인상(RVIs)을 생성한다.
• 두 번째 서브디코더는 게시물 표현과 예측된 RVIs를 조건으로 하여 최종 응답을 생성한다.
• 응답 생성 손실과 내용어 예측 손실의 조합을 사용해 프레임워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 텍스트 전용 대화 데이터에 암묵적으로 내재된 시각적 인상이 효과적으로 구성되고 대화 생성 향상에 활용될 수 있는가?
• RQ2 PVIs를 인코더에 통합하는 것보다 RVIs를 디코더에 통합하는 것이 더 효과적인가?
• RQ3 내용어 예측과 이미지 검색을 통합한 캐스케이드 디코더 아키텍처가 표준 시퀀스-투-시퀀스 모델에 비해 응답 품질을 어떻게 향상시키는가?
• RQ4 구성된 시각적 인상이 개방형 대화에서 응답의 다양성과 관련성에 얼마나 기여하는가?

주요 결과

• VisAD는 DailyDialog 및 PersonaChat에서 최신 기술 수준의 성능을 달성하였으며, 자동 평가 및 인간 평가 지표에서 경쟁적 기준을 초월한다.
• DailyDialog에서의 내용어 예측 정확도(PreAcc)는 0.389, PersonaChat에서는 0.326에 도달하여 지표 내용어와 중간 정도의 일치를 보인다.
• DailyDialog에서 예측된 내용어 평균 수는 2.66, PersonaChat에서는 2.89이며, 각각 실제 평균(3.10, 3.45)과 유사하다.
• 사례 연구 결과, 모델이 게시물 이해에 PVIs를 효과적으로 활용하고 응답 생성에 RVIs를 활용하여 더 맥락에 부합하고 다양한 응답을 생성하는 것으로 나타났다.
• 단어-이미지 매핑 모델은 직접적인 단어-이미지 annotation 없이도 내용어에 대해 관련된 이미지를 검색할 수 있어 강력한 제로샷 일반화 능력을 보였다.
• 시각화 결과, 상위로 검색된 이미지(특히 1위)가 의도한 시각적 인상과 의미적으로 일치하는 것으로 확인되었지만, 약한 지도 신호로 인해 일부 오류가 발생했다.