[논문 리뷰] Open-book Video Captioning with Retrieve-Copy-Generate Network

Ziqi Zhang, Zhongang Qi외 5명|arXiv (Cornell University)|2021. 03. 09.

Multimodal Machine Learning Applications참고 문헌 33인용 수 8

한 줄 요약

이 논문은 영상 캡션 생성을 향상시키기 위해 텍스트 코퍼스에서 관련 문장을 검색하여 생성을 안내하는 새로운 패러다임인 오픈북 비디오 캡션을 제안한다. 리트리브-코피-제너레이트(RCG) 네트워크는 크로스모달 리트리버를 사용해 영상과 관련된 문장을 검색하고, 복사 메커니즘 생성기를 통해 동적으로 문장을 복사하거나 새로운 문장을 생성한다. 이로써 MSR-VTT와 VATEX에서 각각 52.9 CIDEr 및 57.5 CIDEr 점수로 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Due to the rapid emergence of short videos and the requirement for content understanding and creation, the video captioning task has received increasing attention in recent years. In this paper, we convert traditional video captioning task into a new paradigm, \ie, Open-book Video Captioning, which generates natural language under the prompts of video-content-relevant sentences, not limited to the video itself. To address the open-book video captioning problem, we propose a novel Retrieve-Copy-Generate network, where a pluggable video-to-text retriever is constructed to retrieve sentences as hints from the training corpus effectively, and a copy-mechanism generator is introduced to extract expressions from multi-retrieved sentences dynamically. The two modules can be trained end-to-end or separately, which is flexible and extensible. Our framework coordinates the conventional retrieval-based methods with orthodox encoder-decoder methods, which can not only draw on the diverse expressions in the retrieved sentences but also generate natural and accurate content of the video. Extensive experiments on several benchmark datasets show that our proposed approach surpasses the state-of-the-art performance, indicating the effectiveness and promising of the proposed paradigm in the task of video captioning.

연구 동기 및 목표

• 기존 영상 캡션 생성 기술이 시각적 입력에만 의존하고 일반적인 캡션을 생성하는 데서 비롯되는 한계를 해결하기 위해.
• 엔드 투 엔드 모델의 고정된 지식 영역을 넘어서 추론 중에 외부 동적 지식 소스에 접근할 수 있도록 하기 위해.
• 생성 과정에서 시각적 특징과 함께 검색된 텍스트 표현을 통합하여 캡션의 다양성과 정확성을 향상시키기 위해.
• 검색 및 생성 모듈의 엔드 투 엔드 학습과 별도 학습을 모두 지원하는 유연하고 확장 가능한 프레임워크를 개발하기 위해.

제안 방법

• 비디오-텍스트 리트리버는 양방향 인코더 아키텍처를 기반으로 하며, 운동 및 외관 특징을 모두 활용해 대규모 텍스트 코퍼스에서 의미적으로 관련성이 높은 문장을 검색한다.
• 리트리버는 영상 클립과 관련된 자연어 문장을 매칭하도록 학습되며, 행동과 물체와 같은 핵심 시각적 개념에 중점을 둔다.
• 코피 메커니즘 생성기는 복사 또는 새로운 단어 생성을 동적으로 결정한다.
• 생성기는 시각적 특징과 검색된 문장을 모두 주시하며, 사실적 정확성과 언어적 다양성을 조합한 하이브리드 생성을 가능하게 한다.
• RCG 프레임워크는 리트리버와 생성기의 엔드 투 엔드 학습 또는 별도 학습을 지원하여, 더 유연하고 확장 가능한 설계를 가능하게 한다.
• 모델은 표준 영상 특징을 사용해 훈련 데이터에 맞게 피니튜닝되며, 표준 캡션 손실 함수를 통해 최적화된다.

Figure 1: Pipeline comparison of the existing methods and our method. Our generation is produced based on not only video content but also the cues of multi-retrieved sentences searched from text corpus by a cross-modal retriever. Pluggable retriever provides guidance and expansion for the generating

실험 결과

연구 질문

• RQ1 영상에 보이지 않는 외부로 검색된 텍스트 문장이 생성된 영상 캡션의 품질과 다양성에 어떤 영향을 미칠 수 있는가?
• RQ2 크로스모달 리트리버는 대규모 텍스트 코퍼스에서 영상 캡션에 의미적으로 관련된 문장을 얼마나 효과적으로 식별할 수 있는가?
• RQ3 다수의 검색된 문장에서 동적으로 복사하는 방식이 순수 생성 방식에 비해 캡션의 정확성과 유창성에 얼마나 기여하는가?
• RQ4 RCG 프레임워크는 엔드 투 엔드 또는 별도로 학습될 수 있으며, 이에 따른 성능에 어떤 영향을 미치는가?
• RQ5 오픈북 패러다임은 특히 의미적 중복성이 높은 영상 데이터셋에 대해 잘 일반화되는가?

주요 결과

• RCG 모델은 MSR-VTT에서 52.9 CIDEr 점수를 기록하여 이전 SOTA인 ORG-TRL 대비 3.9% 상대적 향상률을 달성한다.
• VATEX에서는 57.5 CIDEr 점수를 기록하며 ORG-TRL 대비 15.7% 상대적 향상률을 보이며, 의미적 중복성이 높은 영상에서 강력한 성능을 입증한다.
• FixRet 변형은 MSR-VTT에서 52.3 CIDEr, VATEX에서는 56.8 CIDEr를 기록하여 고정된 사전 학습된 리트리버의 효과를 입증한다.
• 리트리버와 생성기를 함께 피니튜닝하는 +TrainRet 변형은 최고의 성능을 기록하여 엔드 투 엔드 최적화의 유용성을 확인한다.
• 정성적 분석 결과, 모델은 "마스크에서 숨을 내쉬는"과 같은 유용한 표현을 효과적으로 복사하고, "프리스비 게임을 하는"와 같은 일반적인 캡션을 "잡기 놀이를 하는"로 수정함으로써 정확성을 향상시킨다.
• 히트맵 시각화 결과, 복사 메커니즘이 관련 关련 키워드에 집중하고 있으며, 리트리버의 주의 가중치는 "스쿠버 다이버"와 "해양 수영"과 같은 주목할 만한 개념에 집중되어 있음을 확인할 수 있다.

Figure 2: Overview of the proposed Retrieve-Copy-Generate Network for Open-book Video Captioning. The left side is the pipeline of our method, which consists of two components: the Video-to-Text Retriever that searches for the video-content-relevant sentences from the corpus containing all the sente