[논문 리뷰] Multimodal Pretraining for Dense Video Captioning

Gabriel Huang, Bo Pang외 3명|arXiv (Cornell University)|2020. 11. 10.

Multimodal Machine Learning Applications참고 문헌 42인용 수 14

한 줄 요약

이 논문은 8,000개의 지침 영상과 타임스탬프가 붙은 세그먼트 애너테이션을 포함한 대규모이고 다양한 데이터셋인 ViTT를 소개하며, 특히 ASR 전사본과 시각적 특징을 사용한 MASS 스타일의 공동 인코더-디코더 전훈 전략을 포함한 다중모달 전훈 전략을 제안한다. 이는 밀도 높은 영상 설명 생성에 대해 최신 기술 성능을 달성하며, YouCook2에서 최고 성능을 기록하고 ViTT에서 강력한 일반화 능력을 보여주며, 텍스트 전용 전훈 전략(ASR 신호 기반)이 대부분의 성능 향상을 가져오고, 다중모달 전훈 전략은 근소한 향상만 제공한다는 점을 입증한다.

ABSTRACT

Learning specific hands-on skills such as cooking, car maintenance, and home repairs increasingly happens via instructional videos. The user experience with such videos is known to be improved by meta-information such as time-stamped annotations for the main steps involved. Generating such annotations automatically is challenging, and we describe here two relevant contributions. First, we construct and release a new dense video captioning dataset, Video Timeline Tags (ViTT), featuring a variety of instructional videos together with time-stamped annotations. Second, we explore several multimodal sequence-to-sequence pretraining strategies that leverage large unsupervised datasets of videos and caption-like texts. We pretrain and subsequently finetune dense video captioning models using both YouCook2 and ViTT. We show that such models generalize well and are robust over a wide variety of instructional videos.

연구 동기 및 목표

• 밀도 높은 영상 설명 생성을 위한 대규모이고 다양한 데이터셋의 부족 문제를 해결하기 위해, 8,000개의 지침 영상과 타임스탬프가 붙은 세그먼트 애너테이션을 포함한 새로운 벤치마크인 ViTT를 구축하고 공개한다.
• 요리와 같은 좁은 도메인 외의 영역으로의 일반화 능력을 향상시키기 위해, 더 넓은 지침 영상 콘텐츠를 활용한다.
• 특히 공동 인코더-디코더 전훈 전략을 포함한 다중모달 전훈 전략의 효과성을 조사한다.
• 대규모 비감독 영상 및 텍스트 데이터에서의 전훈이 다양한 지침 영상 도메인에서 성능과 강건성 향상에 기여하는지 평가한다.
• 기존의 YouCook2 벤치마크와 새로 도입된 ViTT 벤치마크에서 강력한 성능 기준을 설정한다.

제안 방법

• 저자들은 1개 영상당 평균 7.1개의 타임스탬프 세그먼트가 애너테이션된 8,000개의 지침 영상으로 구성된 새로운 데이터셋인 ViTT를 구축한다. 이는 요리, 수리, 유지보수 등 다양한 주제를 포함한다.
• 비감독 신호인 ASR 전사본과 지침 영상에서 추출한 시각적 특징을 사용하여, 다중모달 인코더와 텍스트 디코더를 공동으로 미세조정하기 위해 MASS 스타일의 전훈을 적용한다.
• 전훈은 영상-텍스트 쌍이 없는 YouTube-8M(요리 영상), Recipe1M(텍스트 전용 레시피), WikiHow(텍스트 전용 가이드)와 같은 대규모 비감독 데이터를 사용하여 수행된다.
• 모델 아키텍처는 영상 인코더(예: I3D 또는 S3D)와 텍스트 디코더(예: BERT 스타일 트랜스포머)를 사용하며, 양 모odal 스트림에서 마스킹된 토큰을 예측하기 위해 마스킹 시퀀스 모델링을 통해 공동 전훈된다.
• 미세조정 단계에서는 세그먼트 경계가 주어진다고 가정하고, 단방향 또는 양방향 디코딩을 사용하여 각 세그먼트에 대해 기술적 설명을 생성한다.
• 전훈 단계에서 영상과 텍스트 신호를 모두 활용하며, 아블레이션 스터디를 통해 각 모odal과 전훈 전략의 기여도를 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 대규모 비감독 영상 및 텍스트 데이터를 사용한 다중모달 전훈이 다양한 지침 영상에서 밀도 높은 영상 설명 생성 성능을 크게 향상시킬 수 있는가?
• RQ2 ASR 전사본과 같은 텍스트 전용 신호 전훈과 영상 + 텍스트의 다중모달 전훈 간 성능 및 일반화 능력에서의 차이는 어떠한가?
• RQ3 제안된 전훈 전략이 원래의 YouCook2 벤치마크를 초월하여, 더 넓고 다양한 데이터셋인 ViTT에서도 일반화되는 정도는 어느 정도인가?
• RQ4 MASS 스타일의 목표를 통해 인코더와 디코더를 공동 전훈하는 것이, BERT 스타일의 접근 방식처럼 별도로 전훈하는 것보다 성능이 뛰어나게 되는가?
• RQ5 영상 특징과 ASR에서 유도된 텍스트 신호 중 어느 것이 설명 생성 성능 향상에 더 큰 기여를 하는가?

주요 결과

• 제안된 모델은 YouCook2 벤치마크에서 기존 최고 기록을 갱신하는 ROUGE-L 점수 38.80을 기록한다.
• 더 다양한 ViTT 벤치마크에서는 ROUGE-L 점수 31.5를 기록하여 난이도가 높아졌음에도 불구하고 강력한 일반화 능력을 보여준다.
• ASR 전사본을 사용한 텍스트 전용 전훈이 대부분의 성능 향상을 가져오며, 다중모달 전훈은 근소한 향상(1 ROUGE-L 점 이하)만 제공한다.
• YouCook2와 ViTT 간의 성능 격차는 전훈 조건에 관계없이 일관되게 유지되며, 이는 모델이 다양한 지침 영상 도메인에서 잘 일반화된다는 것을 시사한다.
• 정렬 또는 순서 지정 작업(MASSalign)을 통한 전훈은 제한적인 향상만 보이며, 이는 이러한 목표가 마스킹 시퀀스 모델링보다 설명 생성에 덜 효과적임을 시사한다.
• 3D 시각적 특징을 2D 특징 대신 사용할 경우 성능 향상이 없으며, 이는 실무에서 더 단순한 2D 특징 사용이 타당함을 뒷받침한다.