[논문 리뷰] Modeling Text-visual Mutual Dependency for Multi-modal Dialog Generation

Shuhe Wang, Yuxian Meng외 6명|arXiv (Cornell University)|2021. 05. 30.

Multimodal Machine Learning Applications참고 문헌 59인용 수 11

한 줄 요약

이 논문은 문맥 기반 응답 생성을 위해 텍스트 및 시각적 특징 간 상호의존성을 모델링하는 다중모달 대화 생성 프레임워크를 제안한다. 텍스트 생성과 시각적 특징 예측을 공동으로 학습함으로써 모델은 유사성과 인간다움을 크게 향상시키며, OpenViDial 데이터셋에서 기존 모델 대비 BLEU-4 점수 2.74% 향상으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-modal dialog modeling is of growing interest. In this work, we propose frameworks to resolve a specific case of multi-modal dialog generation that better mimics multi-modal dialog generation in the real world, where each dialog turn is associated with the visual context in which it takes place. Specifically, we propose to model the mutual dependency between text-visual features, where the model not only needs to learn the probability of generating the next dialog utterance given preceding dialog utterances and visual contexts, but also the probability of predicting the visual features in which a dialog utterance takes place, leading the generated dialog utterance specific to the visual context. We observe significant performance boosts over vanilla models when the mutual dependency between text and visual features is modeled. Code is available at https://github.com/ShannonAI/OpenViDial.

연구 동기 및 목표

• 기존의 다중모달 대화 모델이 정적이고 단일 이미지 기반의 시각적 맥락에 의존하는 데에 기인한 한계를 해결하기 위해.
• 텍스트적 특징과 시각적 특징 간의 상호의존성을 모델링하여 맥락 기반 응답 생성을 향상시키기 위해.
• 다중모달 대화 시스템에서 세분화된 시각적 특징(객체 수준)과 굵은 시각적 특징(이미지 수준)의 효과를 평가하기 위해.
• 응답 생성 시 텍스트-시각 상호정보(MI)를 통합함으로써 더 인간다운, 맥락 기반의 대화 응답을 생성할 수 있는지 검증하기 위해.

제안 방법

• 모델는 인코더-디코더 아키텍처를 가진 시퀀스-투-시퀀스 프레임워크를 사용하며, 다양한 해상도의 CNN에서 유도된 시각적 특징을 통합한다: 시각적 입력 없음(NV), 이미지 수준(CV), 객체 수준(FV).
• 상호의존성 메커니즘을 도입하여, 이전 대화와 시각적 맥락을 기반으로 다음 응답을 생성하는 것과, 생성된 응답에서 시각적 특징을 예측하는 것을 동시에 학습한다.
• 상호정보(MI) 모듈은 시각적 및 텍스트 표현 간의 정렬을 향상시키기 위해 대비 학습 목표를 통해 구현된다.
• 프레임워크는 생성에 대한 교차 엔트로피 손실과 시각적 특징 복원에 대한 대비 손실을 사용하여 엔드 투 엔드로 훈련된다.
• 인간이 작성한 응답과 모델이 생성한 응답을 구분할 수 있도록, 텍스트와 시각적 특징을 결합한 입력 기반으로 학습된 판별기(Discriminator)를 사용한 악성 평가가 수행된다.
• 인간 평가를 위해 커스터마이징된 커뮤니티를 활용하여 생성된 응답의 관련성, 다양성, 독해 가능성 등을 평가한다.

실험 결과

연구 질문

• RQ1 텍스트와 시각적 특징 간의 상호의존성을 모델링하면 다중모달 대화 생성 품질이 향상되는가?
• RQ2 시각적 특징의 해상도(이미지 수준 대비 객체 수준)는 응답의 관련성과 다양성에 어떤 영향을 미치는가?
• RQ3 대화 응답에서 시각적 특징을 공동으로 예측하는 것은 더 맥락 기반이고 일관성 있는 응답 생성에 기여하는가?
• RQ4 제안된 방법은 자동 평가, 악성 평가, 인간 평가에서 기존의 단순 시각 모델 대비 어떻게 성능을 냈는가?

주요 결과

• FV+MI 모델은 기존의 FV 모델 대비 BLEU-4 점수에서 2.74%의 절대적 향상을 보이며, 상호의존성 모델링의 효과를 입증한다.
• FV+MI 모델의 악성 성공률은 0.877로, 기존의 FV 모델(0.890)을 초월하며, 응답 생성의 인간다움이 향상됨을 보여준다.
• 인간 평가 결과, FV+MI 모델은 관련성, 다양성, 독해 가능성에서 FV 및 CV 모델을 유의미하게 뛰어넘으며, p-값 < 0.01을 기록한다.
• FV 모델은 모든 평가 지표에서 CV 및 NV 모델을 뛰어넘어 세분화된 시각적 특징의 유용성을 확인한다.
• MI 전략은 모든 평가 유형에서 일관되게 성능 향상을 이끌어내어, 텍스트와 시각적 의미 간의 정렬 향상에 기여함을 시사한다.
• 정성적 분석 결과, FV+MI는 더 정보가 풍부하고 맥락 기반의 응답을 생성하는 반면, NV 및 CV 모델은 일반적이거나 관련 없는 응답을 생성한다.