[논문 리뷰] Bridging Text and Video: A Universal Multimodal Transformer for Video-Audio Scene-Aware Dialog

Zekang Li, Zongjia Li외 4명|arXiv (Cornell University)|2020. 02. 01.

Multimodal Machine Learning Applications참고 문헌 24인용 수 22

한 줄 요약

이 논문은 사전 훈련된 GPT-2 모델을 다중 과제 학습을 통해 미세조정하여 영상, 음성, 캡션, 대화 이력을 동시에 인코딩할 수 있는 유니버설 멀티모달 트랜스포머를 제안한다. 텍스트, 영상, 음성 특징을 통합된 시퀀스로 통합하고 응답 언어 모델링, 영상-음성 시퀀스 모델링, 캡션 언어 모델링에서 훈련함으로써, DSTC8-AVSD 벤치마크에서 기존 모델을 능가하는 최신 기술 성능을 달성하며, 자동 평가와 인간 평가 모두에서 뛰어난 성능을 보였다.

ABSTRACT

Audio-Visual Scene-Aware Dialog (AVSD) is a task to generate responses when chatting about a given video, which is organized as a track of the 8th Dialog System Technology Challenge (DSTC8). To solve the task, we propose a universal multimodal transformer and introduce the multi-task learning method to learn joint representations among different modalities as well as generate informative and fluent responses. Our method extends the natural language generation pre-trained model to multimodal dialogue generation task. Our system achieves the best performance in both objective and subjective evaluations in the challenge.

연구 동기 및 목표

• 영상-음성 대화에서 유창하고 맥락에 기반한 응답을 생성하기 위한 과제를 해결하기 위해 다중 모odal을 효과적으로 통합하는 것.
• 더 나은 대화 생성을 위해 텍스트, 영상, 음성 간의 공동 표현 학습을 향상시키는 것.
• 자기 지도 다중 과제 학습을 통해 GPT-2와 같은 사전 훈련된 언어 모델을 멀티모달 대화 생성으로 확장하는 것.
• AVSD 과제에서 자동 평가 및 인간 평가 모두에서 최신 기술 성능을 달성하는 것.

제안 방법

• 모델은 영상, 음성, 캡션, 대화 이력 특징을 조합한 통합된 시퀀스 입력을 사용하며, 각각 고유한 세그먼트 토큰([video], [caption], [user1] 등)으로 접두어를 붙인다.
• 강력한 언어 생성 능력을 확보하기 위해 사전 훈련된 GPT-2 모델로 초기화한다.
• 세 가지 목표를 가진 다중 과제 학습을 적용한다: 응답 언어 모델링(RLM), 영상-음성 시퀀스 모델링(VASM), 캡션 언어 모델링(CLM).
• 모든 모달리티에서 마스크된 언어 모델링을 사용해 종합된 표현을 학습하기 위해 엔드 투 엔드로 미세조정한다.
• 영상 및 음성 특징은 3D CNN를 통해 처리되며, 음성 임베딩은 영상 특징과 융합된 후 트랜스포머에 입력된다.
• 디코딩은 빔 서치를 사용하며, 이는 AVSD 과제에서 최고의 자동 평가 지표를 도출하는 것으로 입증되었다.

실험 결과

연구 질문

• RQ1 GPT-2와 같은 사전 훈련된 언어 모델이 영상 및 음성 입력을 포함한 멀티모달 대화 생성에 효과적으로 적응할 수 있는가?
• RQ2 응답 생성, 영상-음성 시퀀스 모델링, 캡션 재구성 간의 다중 과제 학습이 공동 표현 학습을 어떻게 향상시키는가?
• RQ3 텍스트, 영상, 음성을 별도의 모달리티 인코더와 어텐션 융합을 사용하는 것보다 통합 인코딩이 더 나은 성능을 내는가?
• RQ4 캡션 또는 요약이 없이 대화 이력과 영상-음성만 제공될 경우 모델은 어떻게 성능을 내는가?
• RQ5 기반 시나리오 기반 대화 설정에서 최고의 성능을 내는 디코딩 전략은 무엇인가?

주요 결과

• 모델은 DSTC8-AVSD 제출 중에서 가장 높은 인간 평가 점수(3.934)를 기록했으며, 인간 기준 점수(4.000)에 매우 가까운 성능을 보였다.
• 텍스트 + 영상 설정에서 이전 최신 기술 모델(MTN) 대비 BLEU-4는 0.056 향상되고 CIDEr는 0.216 향상되었다.
• 텍스트 전용 설정에서 모델은 DSTC7-AVSD 우승 시스템을 능가했으며, BLEU-4는 0.069 향상되고 CIDEr는 0.185 향상되었다.
• 영상-음성 시퀀스 모델링(VASM)의 사용은 전체 입력 설정에서 BLEU-4를 0.011 향상시키고 CIDEr를 0.026 향상시켰다.
• 빔 서치 디코딩은 그로스 서치와 니클 샘플링을 능가하는 최고의 자동 평가 지표를 도출했다.
• 캡션/요약이 없는 텍스트 + 영상 설정에서 다중 과제 학습을 사용할 경우 모델의 성능이 열악하게 나타났으며, 보조 지도 신호 없이 영상 표현 학습에 한계가 있음을 시사했다.