[논문 리뷰] End-to-End Dense Video Captioning with Masked Transformer

Luowei Zhou, Yingbo Zhou외 3명|arXiv (Cornell University)|2018. 04. 03.

Multimodal Machine Learning Applications참고 문헌 39인용 수 42

한 줄 요약

Dense 비디오 캡셔링을 위한 엔드-투-엔드 트랜스포머 모델로, 제안된 이벤트를 캡션과 함께 학습시키며 제안과 캡션 매칭을 위한 differentiable mask를 사용하고, RNN 대신 self-attention을 활용합니다.

ABSTRACT

Dense video captioning aims to generate text descriptions for all events in an untrimmed video. This involves both detecting and describing events. Therefore, all previous methods on dense video captioning tackle this problem by building two models, i.e. an event proposal and a captioning model, for these two sub-problems. The models are either trained separately or in alternation. This prevents direct influence of the language description to the event proposal, which is important for generating accurate descriptions. To address this problem, we propose an end-to-end transformer model for dense video captioning. The encoder encodes the video into appropriate representations. The proposal decoder decodes from the encoding with different anchors to form video event proposals. The captioning decoder employs a masking network to restrict its attention to the proposal event over the encoding feature. This masking network converts the event proposal to a differentiable mask, which ensures the consistency between the proposal and captioning during training. In addition, our model employs a self-attention mechanism, which enables the use of efficient non-recurrent structure during encoding and leads to performance improvements. We demonstrate the effectiveness of this end-to-end model on ActivityNet Captions and YouCookII datasets, where we achieved 10.12 and 6.58 METEOR score, respectively.

연구 동기 및 목표

• Dense 비디오 캡셔닝의 필요성을 제시한다.
• 언어 정보를 이벤트 제안에 반영할 수 있도록 엔드-투-엔드 트랜스포머 모델을 개발한다.
• 일관된 학습을 위해 제안 영역을 캡션 어텐션과 정렬하는 differentiable 마스크를 도입한다.

제안 방법

• 프레임 표현을 생성하기 위해 self-attention을 갖춘 비디오 인코더를 사용한다.
• 시작, 끝, 신뢰도 등을 포함한 이벤트 제안을 산출하기 위해 앵커를 갖춘 제안 디코더를 구현한다.
• 현재 이벤트로의 어텐션을 안내하는 differentiable 마스크로 제안을 변환하는 마스킹 네트워크를 갖춘 캡셔닝 디코더를 구현한다.
• 제안 예측을 캡션 생성 과정에 융합하기 위한 게이트된 연속/이산 마스킹 함수를 적용한다.
• 회귀, 마스크, 제안 및 캡션 생성 손실을 포함하는 다중 작업 손실로 엔드-투-엔드 학습한다.

실험 결과

연구 질문

• RQ1 Dense 비디오 캡셔링에서 엔드-투-엔드 트랜스포머 프레임워크가 언어 정보를 이벤트 제안에 직접 반영하도록 할 수 있는가?
• RQ2 differentiable 마스킹 메커니즘이 학습 중 제안된 이벤트와 생성된 캡션 사이의 일관성을 향상시키는가?
• RQ3 자体 기반 인코더/디코더가 RNN 기반 접근법에 비해 Dense 비디오 캡셔링의 장기 의존성 모델링을 개선하는가?
• RQ4 ActivityNet Captions 및 YouCookII에서 엔드-투-엔드 모델이 LSTM 기반 베이스라인에 비해 어떤 성능을 보이는가?

주요 결과

• The End-to-end Masked Transformer outperforms LSTM-based baselines on ActivityNet Captions and YouCookII in captioning and dense-video metrics.
• On ActivityNet Captions with learned proposals, the model achieves BLEU-3 of 4.76, BLEU-4 of 2.23, and METEOR of 9.56.
• Compared to Bi-LSTM and TempoAttn baselines, the end-to-end model with masking yields higher METEOR and BLEU scores in validation.
• Using ground-truth proposals, increasing transformer depth yields incremental gains in captioning metrics, with 2-layer serving as a good balance.
• Self-attention based context encoding improves event proposal recall and overall dense captioning performance versus Bi-LSTM baselines.
• The differentiable masking scheme (and its gated variant) helps maintain consistency between proposed events and generated captions during training.