[논문 리뷰] Temporal Deformable Convolutional Encoder-Decoder Networks for Video Captioning

Jingwen Chen, Yingwei Pan외 4명|arXiv (Cornell University)|2019. 05. 03.

Multimodal Machine Learning Applications참고 문헌 40인용 수 12

한 줄 요약

이 논문은 순환 신경망을 스택된 시간적 변형 가능 컨벌루션으로 대체하여 병렬 학습과 향상된 장거리 모델링을 가능하게 하는 새로운 컨벌루션 인코더-디코더 아키텍처인 TDConvED를 제안한다. 인코더에서 변형 가능 컨벌루션을 활용하고 디코더에서 시간적 어텐션을 적용함으로써, TDConvED는 MSVD에서 67.2%의 CIDEr-D 점수를 기록하여 RNN 기반 기준 모델을 크게 능가하며, 전체 병렬화 덕분에 더 빠른 학습을 보였다.

ABSTRACT

It is well believed that video captioning is a fundamental but challenging task in both computer vision and artificial intelligence fields. The prevalent approach is to map an input video to a variable-length output sentence in a sequence to sequence manner via Recurrent Neural Network (RNN). Nevertheless, the training of RNN still suffers to some degree from vanishing/exploding gradient problem, making the optimization difficult. Moreover, the inherently recurrent dependency in RNN prevents parallelization within a sequence during training and therefore limits the computations. In this paper, we present a novel design --- Temporal Deformable Convolutional Encoder-Decoder Networks (dubbed as TDConvED) that fully employ convolutions in both encoder and decoder networks for video captioning. Technically, we exploit convolutional block structures that compute intermediate states of a fixed number of inputs and stack several blocks to capture long-term relationships. The structure in encoder is further equipped with temporal deformable convolution to enable free-form deformation of temporal sampling. Our model also capitalizes on temporal attention mechanism for sentence generation. Extensive experiments are conducted on both MSVD and MSR-VTT video captioning datasets, and superior results are reported when comparing to conventional RNN-based encoder-decoder techniques. More remarkably, TDConvED increases CIDEr-D performance from 58.8% to 67.2% on MSVD.

연구 동기 및 목표

• 기울기 소실/폭발 문제와 순차적 계산 병목 현상으로 인해 RNN 기반 비디오 캡션 모델의 한계를 해결한다.
• 순서-순서 비디오 캡션에 대해 인코더와 디코더 양쪽 모두에서 RNN 대신 피드포워드 컨벌루션을 사용할 수 있는지 탐색하고 그 효과성을 검증한다.
• 비디오의 동적 시간적 구조를 포착하기 위해 인코더에 시간적 변형 가능 컨벌루션을 도입하여 장거리 시간적 모델링을 향상시킨다.
• 순환 의존성을 제거함으로써 학습 중 전체 병렬화를 가능하게 하여 학습 효율성을 향상시킨다.
• 스택된 컨벌루션 블록과 시간적 어텐션 메커니즘의 조합을 통해 문장 생성 품질을 향상시킨다.

제안 방법

• 샘플링된 비디오 프레임 또는 클립에서 시각적 특징을 추출하기 위해 표준 CNN을 사용하여 인코더의 입력으로 제공한다.
• 각 프레임/클립에 대한 중간 맥락 표현을 생성하기 위해 인코더에 컨벌루션 블록의 스택을 구현하며, 블록 수는 수신장 크기를 제어한다.
• 시간적 변형 가능 컨벌루션을 인코더에 도입하여 시간적 특징의 자유형 샘플링을 허용함으로써, 동적 행동과 장면 전환의 모델링을 향상시킨다.
• 모든 중간 프레임/클립 특징에 대해 전역 평균 풀링을 수행하여 비디오 수준의 표현을 계산한다.
• 디코더에서 비디오 수준의 특징과 이전에 생성된 단어의 임베딩을 연결하여 처리하는 피드포워드 컨벌루션 블록을 사용하여 다음 단어를 예측한다.
• 문장 생성 중 관련된 비디오 특징에 주목하는 시간적 어텐션 메커니즘을 통합하여 시각적 콘텐츠와 생성된 문장 간의 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 완전히 컨벌루션 기반의 인코더-디코더 아키텍처가 RNN 기반 모델을 능가하면서도 병렬 학습을 가능하게 할 수 있는가?
• RQ2 인코더에 시간적 변형 가능 컨벌루션을 사용할 경우, 비디오의 장거리 및 동적 시간적 의존성을 얼마나 향상시킬 수 있는가?
• RQ3 여러 개의 컨벌루션 블록을 스택함으로써 비디오 캡션에서 장거리 맥락 학습이 얼마나 향상되는가?
• RQ4 컨벌루션 기반 디코더에 시간적 어텐션 메커니즘을 통합할 경우, 표준 어텐션 메커니즘 대비 문장 생성 품질은 얼마나 향상되는가?
• RQ5 RNN을 컨벌루션 레이어로 대체할 경우 학습 속도와 최적화 안정성에 어떤 영향을 미치는가?

주요 결과

• TDConvED는 MSVD 데이터셋에서 67.2%의 CIDEr-D 점수를 기록하여 이전 최신 기술 성능 RNN 기반 모델(58.8%)을 크게 능가한다.
• 표준 컨벌루션을 사용한 기준 모델(TDConvED 1)에 비해 인코더에 시간적 변형 가능 컨벌루션을 적용한 모델(TDConvED 2)이 성능이 뛰어나, 변형 가능 샘플링의 효과를 입증한다.
• 시간적 어텐션 메커니즘을 추가함으로써 성능이 추가로 향상되어, 관련 시각적 단서와 생성된 단어 간의 정렬에 있어 그 가치를 입증한다.
• MP-LSTM 대비 약 2.2배 빠른 학습 속도를 기록하였으며, 동일 하드웨어에서 TDConvED는 1에포크당 1070초, MP-LSTM은 2370초가 소요되었다.
• 인코더와 디코더에서 스택된 컨벌루션 블록의 최적 수는 각각 2개이며, 더 많거나 적은 블록 수에서는 성능이 저하되어 용량과 일반화 간의 상충 관계를 보여준다.
• 정성적 결과에서는 TDConvED가 더 정확하고 맥락적으로 관련된 캡션을 생성하는 것으로 나타났으며, 예를 들어 '걷기' 대신 '춤추기'를 올바르게 식별하고, '양파'를 핵심 객체로 올바르게 식별함으로써 더 나은 장거리 모델링의 효과를 보였다.