[논문 리뷰] VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs

Xudong Lin, Gedas Bertasius외 4명|arXiv (Cornell University)|2021. 01. 28.

Multimodal Machine Learning Applications참고 문헌 53인용 수 8

한 줄 요약

Vx2Text는 비디오, 텍스트, 오디오 또는 음성과 같은 다중모달 입력을 사용하여 영상 기반 텍스트 생성을 위한 종단간(end-to-end), 통합된 프레임워크를 제안한다. 각 모달리티는 미분 가능한 토크나이제이션을 통해 공통의 언어 공간으로 매핑되며, 특수한 융합 모듈 없이 트랜스포머 인코더-디코더 아키텍처를 통해 다중모달 융합을 가능하게 하여, 다중모달 사전학습 없이도 영상 요약, 시각적 질의응답, 음성-시각 대화 등에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

We present extsc{Vx2Text}, a framework for text generation from multimodal inputs consisting of video plus text, speech, or audio. In order to leverage transformer networks, which have been shown to be effective at modeling language, each modality is first converted into a set of language embeddings by a learnable tokenizer. This allows our approach to perform multimodal fusion in the language space, thus eliminating the need for ad-hoc cross-modal fusion modules. To address the non-differentiability of tokenization on continuous inputs (e.g., video or audio), we utilize a relaxation scheme that enables end-to-end training. Furthermore, unlike prior encoder-only models, our network includes an autoregressive decoder to generate open-ended text from the multimodal embeddings fused by the language encoder. This renders our approach fully generative and makes it directly applicable to different "video+$x$ to text" problems without the need to design specialized network heads for each task. The proposed framework is not only conceptually simple but also remarkably effective: experiments demonstrate that our approach based on a single architecture outperforms the state-of-the-art on three video-based text-generation tasks -- captioning, question answering and audio-visual scene-aware dialog.

연구 동기 및 목표

• 비디오, 텍스트, 음성 또는 오디오와 같은 다중모달 입력으로부터 개방형 텍스트를 생성하기 위한 통합적이고 종단간 프레임워크를 개발하는 것.
• 모든 모달리티를 공통의 언어 임베딩 공간으로 매핑하여 수동적인 다중모달 융합 모듈이 필요 없도록 하는 것.
• 연속된 모달리티 토크나이제이션의 비미분 가능성에도 불구하고, 이론적 유연성 기반의 방식을 통해 종단간 학습이 가능하도록 하는 것.
• 특수한 태스크 헤드 없이도 한 개의 아키텍처로 요약, 질의응답, 대화와 같은 다양한 텍스트 생성 태스크에서 뛰어난 성능을 달성하는 것.
• 디크림리티브 모델링 대신 디코더 기반 생성 모델링이 복잡한 융합 메커니즘에 의존하지 않고도 다중모달 텍스트 생성에서 성능 향상을 이끌어내는지 확인하는 것.

제안 방법

• 각 모달리티(비디오, 오디오, 텍스트)는 모달리티 전용 분류기로 처리되어 최상위 클래스 레이블을 예측하고, 사전학습된 언어 모델을 사용하여 공통의 언어 공간으로 임베딩된다.
• 연속형 입력(예: 비디오 또는 오디오 특징)의 토크나이제이션 과정에 대해 미분 가능한 유연성 기반의 방식이 적용되어, 토크나이제이션 단계를 통해 역전파가 가능해진다.
• 모든 모달리티에서 유도된 언어 임베딩은 트랜스포머 인코더를 통해 융합되며, 이는 다중모달 시퀀스를 단일 입력 시퀀스로 처리한다.
• 자기회귀적 트랜스포머 디코더는 융합된 다중모달 표현에서 단계적으로 개방형 텍스트 토큰을 생성한다.
• 전체 모델은 생성된 텍스트에 대한 표준 언어 모델링 목적함수를 사용하여 종단간으로 학습된다.
• 프레임 수준의 특징이 필요한 벤치마크(예: TVQA)에서 공정한 비교를 위해 객체 탐지 예측 결과가 추가적인 입력 모달리티로 포함된다.

실험 결과

연구 질문

• RQ1 미분 가능한 토크나이제이션과 공통 언어 공간 기반의 통합적 종단간 프레임워크가 여러 영상 기반 텍스트 생성 태스크에서 전용 모델을 능가할 수 있는가?
• RQ2 디크림리티브 모델링 대신 생성형 자기회귀 디코더를 사용하면 특수한 태스크 헤드 없이도 다중모달 텍스트 생성에서 성능 향상을 이룰 수 있는가?
• RQ3 언어 공간 정렬 기반의 단순한 융합 메커니즘이 복잡한 다중모달 어텐션 모듈보다 다중모달 영상 이해에서 더 뛰어난 성능을 낼 수 있는가?
• RQ4 비미분 가능한 토크나이제이션 단계를 포함한 별도의 모듈 학습 방식에 비해, 미분 가능한 토크나이제이션을 통한 종단간 학습이 일반화 성능 향상에 얼마나 기여하는가?
• RQ5 비싼 다중모달 사전학습 없이도 제안된 방법이 최신 기술 성능을 달성할 수 있는가?

주요 결과

• AVSD 벤치마크에서 Vx2Text는 훈련 데이터의 10%만을 사용할 때도 최신 기술인 MTN 시스템보다 정확도에서 1.5% 높으며, 50%의 데이터로 학습했을 때는 전체 지도 학습 기반 MTN 모델을 초월한다.
• TVQA에서 Vx2Text는 다중모달 사전학습 없이도 이전 최신 기술인 HERO보다 테스트 세트에서 1.4% 향상되었고, 두 모델 모두 사전학습 없이 학습했을 경우 4.7% 향상되었다.
• TVC(영상 요약)에서 Vx2Text는 MMT 최신 기술 시스템을 크게 능가하며, HERO가 760만 개의 추가 샘플로 3주간의 다중모달 사전학습을 추가로 수행한 경우조차도 그 성능을 따라잡거나 초월한다.
• 정성적 결과에서는 Vx2Text가 행동과 캐릭터 정체성 등의 정보를 모두 포함한 자연스럽고 맥락에 기반한 응답을 생성함을 확인할 수 있었으며, 입력에 음성 전사나 대화 기록만 존재하더라도 마찬가지로 성능을 발휘했다.
• 제거 실험 결과, 종단간 학습과 함께 생성형 디코더가 디크림리티브 기반 모델에 비해 뚜렷한 성능 향상을 이끌어내어 제안된 학습 철학의 우수성을 입증했다.
• 미분 가능한 토크나이제이션의 사용은 종단간 학습을 완전히 가능하게 하며, 파ip라인 내에서 별도의 비미분 가능한 토크나이제이션 단계가 필요 없음을 제거했다.