[논문 리뷰] AutoAD: Movie Description in Context

Tengda Han, Max Bain외 4명|arXiv (Cornell University)|2023. 03. 29.

Subtitles and Audiovisual MediaArts and Humanities인용 수 3

한 줄 요약

이 논문은 CLIP와 GPT를 통합하여 시각적 및 맥락적 신호—이전 AD, 자막, 시간적 맥락 등을 활용하는 자동 영화 음성 설명 생성을 위한 새로운 프레임워크 AutoAD를 제안한다. 맥락 인식 생성, 부분 데이터 소스에서의 데이터 사전학습, 정제되고 향상된 MAD-v2 데이터셋을 통해 영화 AD 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, LSMDC에서도 강력한 zero-shot 성능을 보인다.

ABSTRACT

The objective of this paper is an automatic Audio Description (AD) model that ingests movies and outputs AD in text form. Generating high-quality movie AD is challenging due to the dependency of the descriptions on context, and the limited amount of training data available. In this work, we leverage the power of pretrained foundation models, such as GPT and CLIP, and only train a mapping network that bridges the two models for visually-conditioned text generation. In order to obtain high-quality AD, we make the following four contributions: (i) we incorporate context from the movie clip, AD from previous clips, as well as the subtitles; (ii) we address the lack of training data by pretraining on large-scale datasets, where visual or contextual information is unavailable, e.g. text-only AD without movies or visual captioning datasets without context; (iii) we improve on the currently available AD datasets, by removing label noise in the MAD dataset, and adding character naming information; and (iv) we obtain strong results on the movie AD task compared with previous methods.

연구 동기 및 목표

• 영화의 시각적 콘텐츠, 인물 정체성, 시간적 서사 흐름을 이해할 수 있어야 하는 고품질의 맥락 일관성 있는 음성 설명을 생성하는 도전 과제를 해결한다.
• 대규모 고품질 영화 AD 학습 데이터의 부족 문제를 해결하기 위해 데이터 쿠리네이션 파이프라인을 개발하고, 부분적으로 레이블이 지정되거나 텍스트 전용 데이터에서의 사전학습을 활용한다.
• 다중 소스 맥락—시각 프레임, 이전 AD 출력, 자막—을 통합하여 인물 이름 지정과 동작 기술에 특히 유리한 성능 향상을 도모한다.
• 특정 스타일과 구조를 가진 영화 AD에 적합한 사전학습을 통해 모델을 조정함으로써, LSMDC와 같은 후행 벤치마크에 대해 zero-shot 일반화를 가능하게 한다.
• 레이블 노이즈 제거 및 인물 이름 정보 추가를 통해 기존 MAD 데이터셋의 정확성과 신뢰도를 향상시켜 더 깔끔하고 사용하기 쉬운 벤치마크로 개선한다.

제안 방법

• 가벼운 어댑터 네트워크를 통해 CLIP(시각 인코더)와 GPT-2(언어 디코더)를 통합하여 맥락 인식 시각 조건 기반 텍스트 생성을 가능하게 한다.
• 다양한 맥락 유형 통합: 이전 AD 문장(반복 맥락), 자막(대화 맥락), 시각 프레임을 통해 서사 일관성과 실체 추적 성능 향상.
• 비전 인코더를 오픈 도메인 시각-텍스트 데이터셋(예: WebVid, CC3M)에서 사전학습하고 언어 모델을 텍스트 전용 AD 데이터( AudioVault-AD)에서 사전학습하여 도메인 격차를 줄이고 스타일 일치를 향상시킨다.
• 스피커 기반 분리 파이프라인을 사용해 대규모 텍스트 전용 영화 AD 데이터를 자동으로 수집하여, 전체 영상 접근 없이도 확장 가능한 데이터 수집을 가능하게 한다.
• 이전 클립의 AD 출력을 입력으로 처리하는 반복 맥락 모델링 전략을 적용하여, 제한된 맥락 가시성 조건에서 실시간 생성을 시뮬레이션한다.
• 하이브리드 학습 설정을 최적화: 전체 맥락에서 MAD-v2를 미세조정하고, 오라클(실제 맥락) 및 반복(예측 맥락) 설정 모두에서 평가한다.

실험 결과

연구 질문

• RQ1 시각-언어 기반 모델과 맥락 인식 적응을 조합하면 자동 영화 음성 설명의 품질과 일관성 향상에 기여하는가?
• RQ2 부분적으로 레이블이 지정되거나 텍스트 전용 데이터에서의 사전학습은 자원이 제한된 영화 AD 생성에서 일반화 성능을 얼마나 향상시키는가?
• RQ3 이전 AD, 자막, 시각 프레임 등의 다중 맥락 유형을 통합하면 모델 성능과 서사 일관성에 어떤 영향을 미치는가?
• RQ4 정제되고 향상된 MAD 데이터셋(MAD-v2)에서 훈련된 모델은 훈련 샘플 수가 적은데도 이전 방법을 능가할 수 있는가?
• RQ5 제안된 방법은 LSMDC 벤치마크에 대해 특정 훈련 데이터에서의 미세조정 없이 zero-shot 평가에서 얼마나 잘 일반화되는가?

주요 결과

• AutoAD 모델은 오라클 설정에서 MAD-v2 데이터셋에서 CIDEr 점수 21.9를 기록하여, ClipCap 및 CapDec와 같은 이전 방법들을 크게 앞서나간다.
• 텍스트 전용 AD 데이터(AudioVault-AD)에서의 사전학습은 CIDEr 점수를 12.6에서 14.1로 향상시켜 도메인 특화 언어 적응의 중요성을 입증한다.
• 시각 전용 사전학습(WebVid)과 텍스트 전용 사전학습(AudioVault-AD)을 조합하면 CIDEr 점수 21.9를 기록하며, 사전학습 없이 기반 모델을 사용한 것에 비해 2.9점 향상된다.
• MAD-v2를 MAD-v1 대신 사용하면 모든 설정에서 성능 향상이 이루어지며, 훈련 샘플 수가 적은데도 1.5–2.0 CIDEr 점수 향상이 발생하여 레이블 노이즈 감소와 데이터 품질 향상을 확인한다.
• LSMDC 벤치마크에서 zero-shot 설정에서 16.7 CIDEr 점수를 기록하여, 특정 훈련 데이터에서의 미세조정 없이도 이전 SOTA 방법(15.4)을 능가한다.
• 맥락 길이를 1에서 6개의 AD 문장으로 늘일수록 성능 향상이 이루어지나, GPT-2의 어텐션 복잡도로 인해 3개 문장 이후에는 성능 향상이 둔화되며, 맥락과 효율성 사이의 트레이드오���이 존재함을 시사한다.