[논문 리뷰] Exploiting long-term temporal dynamics for video captioning

Yuyu Guo, Jingqiu Zhang외 1명|arXiv (Cornell University)|2022. 02. 22.

Multimodal Machine Learning Applications참고 문헌 57인용 수 11

한 줄 요약

이 논문은 시각적 및 운동적 특징을 짧은 영상 샷에서 요약하여 장기적 시간적 동역학을 모델링하는 시간 풀링 LSTM(이하 TP-LSTM)을 사용하고 문장 생성을 위해 스택형 LSTM을 활용하는 새로운 비디오 캡션 프레임워크인 TS-LSTM을 제안한다. 이 방법은 MSVD 및 MSR-VTT에서 최신 기술 수준(SOTA) 성능을 달성하며, 프레임 수준 처리를 피하므로 계산 비용을 절감한다. 각각 BLEU-4 점수는 54.5% 및 39.9%를 기록한다.

ABSTRACT

Automatically describing videos with natural language is a fundamental challenge for computer vision and natural language processing. Recently, progress in this problem has been achieved through two steps: 1) employing 2-D and/or 3-D Convolutional Neural Networks (CNNs) (e.g. VGG, ResNet or C3D) to extract spatial and/or temporal features to encode video contents; and 2) applying Recurrent Neural Networks (RNNs) to generate sentences to describe events in videos. Temporal attention-based model has gained much progress by considering the importance of each video frame. However, for a long video, especially for a video which consists of a set of sub-events, we should discover and leverage the importance of each sub-shot instead of each frame. In this paper, we propose a novel approach, namely temporal and spatial LSTM (TS-LSTM), which systematically exploits spatial and temporal dynamics within video sequences. In TS-LSTM, a temporal pooling LSTM (TP-LSTM) is designed to incorporate both spatial and temporal information to extract long-term temporal dynamics within video sub-shots; and a stacked LSTM is introduced to generate a list of words to describe the video. Experimental results obtained in two public video captioning benchmarks indicate that our TS-LSTM outperforms the state-of-the-art methods.

연구 동기 및 목표

• 기존 비디오 캡션 모델이 개별 프레임이 아닌 하위 샷 간의 장거리 시간적 구조를 포착하는 데에 한계가 있다는 문제를 해결하기 위해.
• 영상 세그먼트의 시간 풀링을 통해 프레임 수준 처리를 피하여 계산 비용을 감소시키기 위해.
• 공간적 및 시간적 동역학을 통합된 비디오 표현으로 통합함으로써 캡션 품질을 향상시키기 위해.
• 프레임 수준의 어텐션 메커니즘보다 더 효과적으로 영상 내 장거리 의존성을 모델링하기 위해.
• 효율적인 추론을 통해 표준 비디오 캡션 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 짧은 영상 샷에서 시각적 및 운동적 특징을 요약하여 장기적 시간적 동역학을 모델링하는 시간 풀링 LSTM(TP-LSTM)을 도입한다.
• 학습된 장기적 표현에서 자연어 문장을 생성하기 위해 스택형 LSTM 아키텍처를 사용한다.
• TP-LSTM에 입력하기 전에 영상 콘텐츠를 인코딩하기 위해 사전 훈련된 3D CNN(예: C3D)을 사용해 공간적 및 시간적 특징을 추출한다.
• 두 단계 훈련 프로세스를 적용한다: 첫 번째로 TP-LSTM을 사용해 장기적 동역학을 학습하고, 두 번째로 스택형 LSTM을 사용해 캡션을 생성한다.
• 연속된 프레임 간의 시간 불변성을 활용하여 개별 프레임을 모두 처리하는 대신 하위 샷 단위로 풀링한다.
• 공간적 특징과 시간적 동역학을 동시에 모델링하기 위해 이중 브랜치 메커니즘을 도입하여 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 프레임 수준의 어텐션과 비교해 하위 샷 간의 장기적 시간적 동역학을 모델링하면 비디오 캡션 성능이 향상되는가?
• RQ2 영상 세그먼트의 시간 풀링은 계산 비용을 줄이면서도 캡션 품질을 유지하거나 향상시키는가?
• RQ3 공간적 및 시간적 동역학을 통합한 통합 아키텍처가 프레임 수준 어텐션에 의존하는 모델보다 우월한가?
• RQ4 MSVD 및 MSR-VTT와 같은 표준 벤치마크에서 제안된 TS-LSTM 프레임워크는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 이 모델은 복잡한 영상 장면에서 객체 수와 세부 동작 기술을 얼마나 잘 포착하는가?

주요 결과

• MSVD 데이터셋에서 TS-LSTM는 BLEU-4 점수 54.5%를 기록하여 이어지는 최고 성능 모델(h-RNN)보다 4.6%포인트 높게 기록한다.
• MSVD에서 모델은 METEOR 점수 34.5%를 기록하여 기준 모델보다 1.9포인트 높게 기록하여 의미적 정확도 향상을 시사한다.
• MSR-VTT 데이터셋에서 TS-LSTM는 최고의 BLEU-4 점수(39.9%)와 METEOR 점수(27.1%)를 기록하며, MFA-LSTM보다 각각 0.7점과 0.5점 향상되었다.
• 모델은 '파스타를 먹는다'와 같이 더 구체적이고 정확한 캡션을 생성하며, 객체 수를 정확히 식별한다.
• TS-LSTM는 프레임 수준 처리를 피함으로써 계산 비용을 절감하였으며, 밀도 높은 프레임 샘플링 대신 하위 샷 표현을 효율적으로 사용함으로써 이를 입증한다.
• 희귀 객체에 대해 잘 일반화되지만, 훈련 데이터가 제한적일 경우 '재규'와 같은 희귀 클래스에 대해 약간의 과적합이 발생할 수 있다.