[논문 리뷰] Reconstruction Network for Video Captioning

Bairui Wang, Lin Ma외 2명|arXiv (Cornell University)|2018. 03. 30.

Multimodal Machine Learning Applications참고 문헌 50인용 수 41

한 줄 요약

RecNet은 양방향 비디오-캡션 및 캡션-비디오 흐름을 활용하는 인코더-디코더-리컨스트럭터를 도입하여 비디오 캡션 생성 정확도를 높입니다.

ABSTRACT

In this paper, the problem of describing visual contents of a video sequence with natural language is addressed. Unlike previous video captioning work mainly exploiting the cues of video contents to make a language description, we propose a reconstruction network (RecNet) with a novel encoder-decoder-reconstructor architecture, which leverages both the forward (video to sentence) and backward (sentence to video) flows for video captioning. Specifically, the encoder-decoder makes use of the forward flow to produce the sentence description based on the encoded video semantic features. Two types of reconstructors are customized to employ the backward flow and reproduce the video features based on the hidden state sequence generated by the decoder. The generation loss yielded by the encoder-decoder and the reconstruction loss introduced by the reconstructor are jointly drawn into training the proposed RecNet in an end-to-end fashion. Experimental results on benchmark datasets demonstrate that the proposed reconstructor can boost the encoder-decoder models and leads to significant gains in video caption accuracy.

연구 동기 및 목표

• 자동 비디오 캡션 작성을 촉진하고 전방향만 사용하는 인코더-디코더 모델의 한계를 해결한다.
• 캡션에서 비디오로의 역방향 흐름을 활용하는 재구성 모듈을 제안한다.
• 비디오 의미론을 보존하기 위해 글로벌-구조 재구성기와 로컬-구조 재구성기를 통합한다.
• 순방향 캡션 생성 손실과 역방향 재구성 손실을 함께 최적화하는 엔드 투 엔드 학습을 수행한다.
• 벤치마크 데이터셋 MSR-VTT와 MSVD에서 성능 향상을 입증한다.

제안 방법

• Inception-V4를 사용하여 비디오 프레임을 프레임 특성으로 인코딩한다.
• 인코딩된 비디오 특성으로부터 캡션을 생성하기 위해 어텐션 기반 LSTM 디코더를 활용한다.
• 디코더 숨겨진 상태를 사용하여 원래의 비디오 특성을 재생산하는 재구성기를 도입한다.
• 글로벌 구조 재구성기(평균풀링)와 로컬 구조 재구성기(어텐션 가이드) 두 가지 변형을 제공한다.
• 엔코더-디코더 우도와 재구성 손실의 합계인 공동 손실에 람다로 가중치를 두고 학습한다.
• MSR-VTT와 MSVD에서 BLEU-4, METEOR, ROUGE-L, CIDEr로 평가한다.

실험 결과

연구 질문

• RQ1 전방향 전용 인코더-디코더 모델보다 역방향 캡션-비디오 재구성 손실을 추가하면 비디오 캡션 작성이 향상될 수 있는가?
• RQ2 글로벌- 및 로컬-구조 재구성기가 캡션 품질에 다르게 영향을 미치는가?
• RQ3 성능에 대한 트레이드오프 매개변수 lambda의 영향은 무엇인가?
• RQ4 RecNet 변형들이 MSR-VTT와 MSVD에서 베이스라인 모델과 비교하여 어떤 성능을 보이는가?

주요 결과

모델	BLEU-4	METEOR	ROUGE-L	CIDEr
RecNet global (MSR-VTT)	38.3	26.2	59.1	41.7
RecNet local (MSR-VTT)	39.1	26.6	59.3	42.7
SA-LSTM (Inception-V4)	36.3	25.5	58.3	39.9
SA-LSTM (VGG19)	35.6	25.4	-	-
RecNet global (S2VT)	42.9	32.3	68.5	69.3
RecNet local (S2VT)	43.7	32.7	68.6	69.8
RecNet global (SA-LSTM)	51.1	34.0	69.4	79.7
RecNet local (SA-LSTM)	52.3	34.1	69.8	80.3

• RecNet은 글로벌 또는 로컬 재구성기 중 어느 것을 사용하든 MSR-VTT에서 BLEU-4, METEOR, ROUGE-L, CIDEr에서 표준 인코더-디코더 모델보다 성능이 우수하다.
• Inception-V4를 인코더로, SA-LSTM 디코더를 사용한 RecNet은 여러 베이스라인보다 더 높은 점수를 얻는다.
• 로컬 재구성기가 일반적으로 글로벌 변형보다 약간 더 나은 결과를 내는 경향이 있는데, 이는 더 나은 시간적 다이나믹 보존 때문.
• MSR-VTT에서 SA-LSTM를 사용한 RecNet은 BLEU-4 39.1 및 CIDEr 42.7(로컬); BLEU-4 38.3 및 CIDEr 41.7(글로벌).
• MSVD에서 SA-LSTM을 활용한 RecNet 변형은 Listed 모델 중 최고 성능을 달성(예: RecNet 로컬 SA-LSTM: BLEU-4 52.3, CIDEr 80.3).
• 람다은 순방향 우도와 역방향 재구성 사이의 균형을 제어합니다; 0이 아닌 적절한 람다 값이 성능을 개선합니다.