[논문 리뷰] Controllable Video Captioning with POS Sequence Guidance Based on Gated Fusion Network

Bairui Wang, Lin Ma외 4명|arXiv (Cornell University)|2019. 08. 27.

Multimodal Machine Learning Applications참고 문헌 7인용 수 23

한 줄 요약

이 논문은 심화된 문법 정확도와 다양성을 향상시키기 위해 게이트드 퓨전 네트워크를 통해 품사(POS) 시퀀스 가이던스를 활용하는 제어 가능한 비디오 캡셔닝 모델을 제안한다. 운동 및 콘텐츠 특징을 교차 게이팅 메커니즘을 통해 융합하고, 디코더에 동적으로 글로벌 POS 정보를 통합함으로써 MSR-VTT와 MSVD에서 최신 기술 수준의 성능을 달성하며, 문법적 제어력과 캡처 품질이 향상된다.

ABSTRACT

In this paper, we propose to guide the video caption generation with Part-of-Speech (POS) information, based on a gated fusion of multiple representations of input videos. We construct a novel gated fusion network, with one particularly designed cross-gating (CG) block, to effectively encode and fuse different types of representations, e.g., the motion and content features of an input video. One POS sequence generator relies on this fused representation to predict the global syntactic structure, which is thereafter leveraged to guide the video captioning generation and control the syntax of the generated sentence. Specifically, a gating strategy is proposed to dynamically and adaptively incorporate the global syntactic POS information into the decoder for generating each word. Experimental results on two benchmark datasets, namely MSR-VTT and MSVD, demonstrate that the proposed model can well exploit complementary information from multiple representations, resulting in improved performances. Moreover, the generated global POS information can well capture the global syntactic structure of the sentence, and thus be exploited to control the syntactic structure of the description. Such POS information not only boosts the video captioning performance but also improves the diversity of the generated captions. Our code is at: https://github.com/vsislab/Controllable_XGating.

연구 동기 및 목표

• 기존의 비디오 캡처 모델이 다수의 비디오 표현 간의 관계를 활용하지 못하고 생성 과정에서 문법적 구조를 간과한다는 한계를 해결하기 위해.
• POS 시퀀스를 사전 정보로 통합하여 글로벌 문법적 구조 정보를 통합함으로써 비디오 캡처 성능을 향상시키기 위해.
• 글로벌 POS 시퀀스를 조작하여 원하는 문법적 구조를 유도함으로써 제어 가능한 캡처 생성을 가능하게 하기 위해.
• 다양한 비디오 특징을 더 rich한 표현 학습을 위해 적응적으로 융합할 수 있는 새로운 교차 게이팅 메커니즘을 개발하기 위해.

제안 방법

• 운동(C3D)과 콘텐츠(I3D) 특징와 같은 다양한 비디오 표현을 동적으로 및 적응적으로 융합하기 위해 교차 게이팅(CG) 블록을 갖춘 게이트드 퓨전 네트워크를 설계하였다.
• 융합된 비디오 표현을 기반으로 POS 시퀀스 생성기를 훈련시어, 목표 캡처의 글로벌 문법적 구조를 품사 태그의 관점에서 예측하였다.
• 각 디코딩 단계에서 예측된 글로벌 POS 정보를 디코더에 통합하기 위해 동적 게이팅 전략을 도입하여, 단어 생성을 문법적 맥락에 조건화하였다.
• 캡처 생성을 위한 교차 엔트로피 손실과 별도의 손실을 통해 POS 시퀀스 예측을 위한 손실을 사용하여 엔드 투 엔드로 모델을 훈련시켰다.
• 디코더는 비디오 특징에 대한 소프트 어텐션을 사용하고, POS 가이드드 게이팅 신호를 통합하여 다음 단어 예측 전에 은닉 상태를 보완하였다.
• 추론 단계에서 생성된 POS 시퀀스를 수동으로 수정함으로써 문법적 구조를 제어할 수 있으며, 이는 제어 가능한 캡처 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 게이트드 퓨전 네트워크는 다양한 비디오 표현 간의 관계를 효과적으로 모델링하여 비디오 캡처 성능을 향상시킬 수 있는가?
• RQ2 글로벌 POS 시퀀스 예측은 비디오 캡처에서 문법적 구조를 유도하는 의미 있는 사전 정보로 기능할 수 있는가?
• RQ3 디코더에 동적으로 POS 정보를 통합하면 생성된 캡처의 정확도와 다양성이 향상되는가?
• RQ4 추론 단계에서 글로벌 POS 시퀀스를 조작하여 생성된 기술 설명의 문법적 다양성을 제어할 수 있는가?

주요 결과

• 제안된 모델은 MSR-VTT 및 MSVD 데이터셋에서 모두 최신 기술 수준의 성능을 달성하였으며, BLEU, METEOR, ROUGE, CIDEr의 네 가지 메트릭 모두에서 베이스라인 모델을 초월하였다.
• I3D와 C3D 특징를 사용한 모델은 MSR-VTT에서 CIDEr 점수 120.5점, MSVD에서 118.3점의 성능을 기록하여, 기존의 베이스라인 모델보다 뛰어난 성능을 보였다.
• 정성 분석 결과, 모델은 더 정확하고 구체적인 기술을 생성하는 것으로 나타났으며, 예를 들어 POS 가이던스 하에 'mixing'을 동사로, 'ingredients'를 명사로 정확히 식별하였다.
• 제어 가능한 캡처 생성이 성공적으로 구현되었다: POS 시퀀스를 'ADJ' 또는 'NUM'으로 수정함으로써 'a man in a pink shirt' 또는 'two teams'와 같은 기술을 생성하여 사용자 의도에 부합하였다.
• 교차 게이팅 메커니즘은 특징 간의 상호관계를 효과적으로 포착하여, POS 가이던스가 변경되어도 안정적인 생성을 가능하게 하였다.
• POS 정보 통합은 통제 가능한 구조적 사전 정보를 통해 문법적으로 다양한 출력을 장려함으로써 캡처 다양성을 향상시켰다.