Skip to main content
QUICK REVIEW

[논문 리뷰] SwinBERT: End-to-End Transformers with Sparse Attention for Video Captioning

Kevin Lin, Linjie Li|arXiv (Cornell University)|2021. 11. 25.
Multimodal Machine Learning ApplicationsComputer Science인용 수 31
한 줄 요약

SwinBERT는 원시 비디오 프레임을 Video Swin Transformer과 다중모달 Transformer 인코더로 처리하고, 장거리 비디오 시퀀스 모델링을 개선하기 위한 학습 가능한 희소(attention) 마스크로 보강된 엔드투엔드 순수 Transformer 모델로, 비디오 캡션 작성용.

ABSTRACT

The canonical approach to video captioning dictates a caption generation model to learn from offline-extracted dense video features. These feature extractors usually operate on video frames sampled at a fixed frame rate and are often trained on image/video understanding tasks, without adaption to video captioning data. In this work, we present SwinBERT, an end-to-end transformer-based model for video captioning, which takes video frame patches directly as inputs, and outputs a natural language description. Instead of leveraging multiple 2D/3D feature extractors, our method adopts a video transformer to encode spatial-temporal representations that can adapt to variable lengths of video input without dedicated design for different frame rates. Based on this model architecture, we show that video captioning can benefit significantly from more densely sampled video frames as opposed to previous successes with sparsely sampled video frames for video-and-language understanding tasks (e.g., video question answering). Moreover, to avoid the inherent redundancy in consecutive video frames, we propose adaptively learning a sparse attention mask and optimizing it for task-specific performance improvement through better long-range video sequence modeling. Through extensive experiments on 5 video captioning datasets, we show that SwinBERT achieves across-the-board performance improvements over previous methods, often by a large margin. The learned sparse attention masks in addition push the limit to new state of the arts, and can be transferred between different video lengths and between different datasets. Code is available at https://github.com/microsoft/SwinBERT

연구 동기 및 목표

  • 고정 프레임 속도 특성 추출기 없이 엔드투엔드 비디오 캡션 작성을 고무한다.
  • 원시 프레임으로부터 가변 길이 비디오 입력을 처리하기 위한 Video Swin Transformer 인코더를 제안한다.
  • 장거리 비디오 시퀀스 모델링을 규제하기 위한 학습 가능한 희소 주의 마스크를 도입한다.
  • 다수의 벤치마크에서 이전 최첨단 대비 상당한 CIDEr 개선을 입증한다.

제안 방법

  • Video Swin Transformer (VidSwin)을 사용하여 원시 프레임을 비디오 토큰으로 변환한다.
  • 비디오 토큰과 단어 토큰으로 캡션을 생성하기 위해 다중모달 Transformer 인코더를 활용한다.
  • 정보가 풍부한 비디오 토큰에 집중하도록 희소 손실이 있는 학습 가능한 희소 주의 마스크를 도입한다.
  • 희소 주의 손실과 통합된 마스킹된 언어 모델링으로 엔드투엔드로 학습한다.
  • 다양한 프레임 수를 실험하여 조밀 샘플링이 캡션 성능에 미치는 영향을 연구한다.

실험 결과

연구 질문

  • RQ1원시 비디오 프레임에서의 엔드투엔드 Transformer 기반 모델이 다중 특징 접근법과 비디오 캡션 작성에서 동등하거나 더 우수한 성능을 보일 수 있는가?
  • RQ2학습 가능한 희소 주의가 캡션 생성을 위한 장거리 비디오 시퀀스 모델링을 향상시키는가?
  • RQ3프레임 밀도(프레임 수)가 데이터셋 전반의 캡션 성능에 어떤 영향을 주는가?
  • RQ4희소 주의 마스크가 프레임 속도와 데이터셋 간에 전달 가능한가?

주요 결과

  • SwinBERT는 다섯 개 데이터셋(MSVD, MSRVTT, TVC, VATEX 등)에서 이전 SOTA 대비 큰 CIDEr 이득을 달성한다.
  • 입력 프레임 수를 늘리면(C dense sampling) CIDEr 점수가 향상된다.
  • 희소 제약이 있는 제안된 희소 주의 마스크가 성능을 향상시키고 중요한 비디오 토큰에 집중하도록 학습한다.
  • 희소 마스크는 프레임 속도 간 전이 가능하며 미세 조정을 통해 데이터셋 간 전이될 수 있다.
  • 바이너리 또는 소프트 희소 마스크는 전체 주의에 비해 비슷한 성능을 제공하면서 런타임 이점을 가질 수 있다.
  • 시각화는 모델이 모션이 더 많은 중앙 영역 토큰에 우선순위를 두고 경계는 희소하게 주의한다는 것을 보여준다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.