[논문 리뷰] Attention is all you need for Videos: Self-attention based Video Summarization using Universal Transformers

Manjot Bilkhu, Siyang Wang외 1명|arXiv (Cornell University)|2019. 06. 06.

Multimodal Machine Learning Applications참고 문헌 36인용 수 10

한 줄 요약

이 논문은 스파atio-temporal 특징 추출을 위해 유니버설 트랜스포머와 3D CNNs(C3D, Two-stream I3D)를 사용하는 자기주의 기반 비디오 요약 모델을 제안한다. MSVD 및 ActivityNet 데이터셋에서 최신 기술 수준의 성능을 달성하며, 큰 부분이 관련이 없더라도 관련 있는 비디오 세그먼트에 대해 뛰어난 주의 메커니즘을 보이며, BLEU 점수는 경쟁력 있고, 가중치 공유 덕분에 더 뛰어난 내성성을 보인다.

ABSTRACT

Video Captioning and Summarization have become very popular in the recent years due to advancements in Sequence Modelling, with the resurgence of Long-Short Term Memory networks (LSTMs) and introduction of Gated Recurrent Units (GRUs). Existing architectures extract spatio-temporal features using CNNs and utilize either GRUs or LSTMs to model dependencies with soft attention layers. These attention layers do help in attending to the most prominent features and improve upon the recurrent units, however, these models suffer from the inherent drawbacks of the recurrent units themselves. The introduction of the Transformer model has driven the Sequence Modelling field into a new direction. In this project, we implement a Transformer-based model for Video captioning, utilizing 3D CNN architectures like C3D and Two-stream I3D for video extraction. We also apply certain dimensionality reduction techniques so as to keep the overall size of the model within limits. We finally present our results on the MSVD and ActivityNet datasets for Single and Dense video captioning tasks respectively.

연구 동기 및 목표

• 비디오 캡션에서 순환 모델(LSTM/GRU)의 한계를 해결하기 위해 주의 기반 아키텍처로 대체함.
• 유니버설 트랜스포머(가중치 공유, 반복적 트랜스포머)의 효과성을 비디오 요약 작업에서 탐색함.
• 단일 및 다중 캡션 생성 벤치마크(MSVD 및 ActivityNet)에서 모델을 평가하여 확장성과 성능을 분석함.
• 트랜스포머의 주의 메커니즘이 순환 모델보다 더 잘 중요한 비디오 세그먼트를 식별할 수 있는지 조사함.
• 차원 축소 및 특징 추출기의 미세조정을 통해 모델의 효율성과 일반화 능력을 향상시킴.

제안 방법

• 비디오 입력에서 스파atio-temporal 특징을 추출하기 위해 C3D와 Two-stream I3D 3D CNN을 사용하여 비디오를 고정 크기의 특징 벡터 시퀀스로 압축함.
• 캡션 생성 네트워크로 유니버설 트랜스포머를 사용하며, 층 간에 공유된 가중치를 적용하고 다중 층을 통해 표현을 반복적으로 개선함.
• 모델 크기와 계산 비용을 제어하면서 성능 유지를 위해 차원 축소 기법을 적용함.
• 단일 및 다중 캡션 생성 작업 모두에서 정답 캡션에 대한 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련함.
• 특정 캡션 생성 작업에 적합하도록 훈련 세트에서 C3D 및 I3D 특징 추출기를 미세조정함.
• 변동 길이 출력을 처리하고 훈련 안정성을 향상시키기 위해 유니버설 트랜스포머에 마스크된 자기주의 메커니즘을 도입함.

실험 결과

연구 질문

• RQ1 유니버설 트랜스포머 기반 아키텍처가 표준 RNN 기반 모델보다 비디오 요약 작업에서 더 우수한 성능을 낼 수 있는가?
• RQ2 순환 유닛과 비교해 트랜스포머의 자기주의 메커니즘이 비디오에서 장거리 의존성과 중요한 시간적 세그먼트를 얼마나 효과적으로 포착하는가?
• RQ3 유니버설 트랜스포머의 차원 축소와 가중치 공유가 일반화 능력 향상과 과적합 감소에 얼마나 기여하는가?
• RQ4 모델은 단일 및 다중 비디오 캡션 벤치마크에서 어떻게 작동하는가, 특히 관련이 없는 비디오 프레임을 다룰 때 어떻게 성능을 내는가?
• RQ5 사전 훈련된 모델을 사용하는 것보다 3D CNN 특징 추출기의 미세조정이 캡션 생성 성능 향상에 기여하는가?

주요 결과

• 모델은 MSVD 및 ActivityNet 데이터셋에서 경쟁적인 BLEU 점수를 기록하여 비디오 캡션에서 뛰어난 성능을 보였다.
• 유니버설 트랜스포머는 50퍼센트 이상의 프레임이 정보가 없더라도 관련 있는 비디오 세그먼트에 주의를 기울이는 것을 보이며 강력한 주의 메커니즘을 학습했다.
• 유사한 BLEU 점수를 기록했음에도 불구하고, 유니버설 트랜스포머는 표준 트랜스포머보다 더 다양한 캡션을 생성했으며, 이는 가중치 공유로 인한 과적합 감소 때문일 가능성이 높다.
• Qualitative 예시를 통해 ActivityNet에서 복잡한 비디오의 주제와 동작 시퀀스에 대해 일관된 캡션을 성공적으로 생성했다.
• 실패 사례는 주제와 동작를 올바르게 식별함에도 불구하고 문장의 구조를 형성하는 데 어려움을 겪는다는 것을 드러내며 문장 구성 향상 여지가 있음을 시사한다.
• C3D 및 I3D 특징 추출기를 미세조정함으로써 성능 향상이 이루어졌으며, 이는 작업에 특화된 적응이 특징의 관련성 향상에 기여함을 시사한다.