[논문 리뷰] Video Captioning with Boundary-aware Hierarchical Language Decoding and Joint Video Prediction

Xiangxi Shi, Jianfei Cai외 2명|arXiv (Cornell University)|2018. 07. 08.

Multimodal Machine Learning Applications인용 수 3

한 줄 요약

이 논문은 비디오 자동 요약에 대해 경계 인식형 계층적 언어 디코더를 제안하며, 전반적인 문장 모델링을 위한 고수준 GRU와 구절 수준 경계 검출을 위한 이진 게이트를 갖춘 저수준 GRU를 통합한다. 이 방법은 공유된 어텐션과 경계 인식형 인코딩을 통해 비디오 자동 요약 및 예측을 동시에 최적화하여 MSR-VTT 및 MSVD 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

The explosion of video data on the internet requires effective and efficient technology to generate captions automatically for people who are not able to watch the videos. Despite the great progress of video captioning research, particularly on video feature encoding, the language decoder is still largely based on the prevailing RNN decoder such as LSTM, which tends to prefer the frequent word that aligns with the video. In this paper, we propose a boundary-aware hierarchical language decoder for video captioning, which consists of a high-level GRU based language decoder, working as a global (caption-level) language model, and a low-level GRU based language decoder, working as a local (phrase-level) language model. Most importantly, we introduce a binary gate into the low-level GRU language decoder to detect the language boundaries. Together with other advanced components including joint video prediction, shared soft attention, and boundary-aware video encoding, our integrated video captioning framework can discover hierarchical language information and distinguish the subject and the object in a sentence, which are usually confusing during the language generation. Extensive experiments on two widely-used video captioning datasets, MSR-Video-to-Text (MSR-VTT) \cite{xu2016msr} and YouTube-to-Text (MSVD) \cite{chen2011collecting} show that our method is highly competitive, compared with the state-of-the-art methods.

연구 동기 및 목표

• RNN 기반 언어 디코더가 빈번한 단어 공존 패tern에 과적합되는 문제를 해결하기 위해.
• 계층적 언어 구조를 모델링하여 문장 수준의 일관성 향상과 환각 감소를 위해.
• 비디오 자동 요약 및 비디오 예측 작업의 공동 학습을 통해 비디오 자동 요약 성능 향상.
• 저수준 GRU 디코더에 이진 게이트를 사용하여 언어 경계(예: 주어-서술어 또는 명사-동사 전환)를 검출하기 위해.
• 경계 인식형 비디오 인코딩과 계층적 언어 디코딩을 통합하여 의미적 정렬 향상.

제안 방법

• 문장 생성을 위한 고수준 GRU(전반적 언어 모델)와 저수준 GRU(지역적 구절 수준 모델)를 갖춘 계층적 언어 디코더를 제안한다.
• 학습 가능한 이진 게이트를 사용해 단어나 구절 간 언어 경계를 검출하는 이진 게이트 리커런트 유닛(B-GRU)을 도입한다.
• 비디오 자동 요약 및 비디오 예측 작업 간 공유된 소프트 어텐션을 활용하여 특징 정렬을 향상시키고 파rameter 수를 줄인다.
• 비디오 이벤트의 시간적 국소화를 향상시키기 위해 경계 인식형 비디오 인코딩을 사용한다.
• 공동 학습을 통해 비디오 예측을 다중 작업 학습 목표로 통합하여 특징 표현과 추론 능력을 향상시킨다.
• 빔 서치 추론을 통해 모든 구성 요소를 엔드 투 엔드로 학습 가능한 프레임워크로 융합한다.

실험 결과

연구 질문

• RQ1 경계 검출 기능을 갖춘 계층적 언어 디코더는 생성된 비디오 자동 요약의 의미적 구조와 정확도를 향상시킬 수 있는가?
• RQ2 공동 비디오 예측은 비디오 자동 요약 모델의 성능을 어떻게 향상시키는가?
• RQ3 자기 설명 및 예측 작업 간 공유 어텐션은 특징 학습을 얼마나 향상시키는가?
• RQ4 언어 디코더에서의 경계 검출은 주어-목적어 혼동이나 잘못된 단어 공존 패턴과 같은 일반적인 오류를 줄일 수 있는가?
• RQ5 단일 데이터셋에서만 훈련된 경우, 제안된 프레임워크는 최신 기준 방법과 어떻게 비교되는가?

주요 결과

• 제안된 모델은 MSR-VTT 데이터셋에서 BLEU-4 점수 50.3과 CIDEr 점수 74.3을 기록하며, 단일 데이터셋에서 훈련된 이전 방법들을 능가한다.
• MSVD 데이터셋에서는 BLEU-4 점수 39.8과 CIDEr 점수 43.3을 기록하여 다양한 지표에서 뛰어난 성능을 보였다.
• 제거 실험 결과, 경계 검출, 공유 어텐션, 비디오 예측, 계층적 언어 모델링 각각의 구성 요소가 성능 향상에 기여하는 것으로 확인되었다.
• B-GRU의 이진 게이트는 명사구와 동사 사이와 같은 언어 경계를 성공적으로 검출하였으며, 정성적 예시에서 이를 확인할 수 있었다.
• 공유 어텐션 메커니즘이 자동 요약 및 예측을 위한 별도의 어텐션 모듈보다 우수한 성능을 보이며, 특징 공유의 효과성을 입증했다.
• 정성적 결과에서는 '여자 한 명이 다른 여자와 함께 타고 있다'와 같은 환각을 줄이고 주어-서술어 정렬을 향상시킨 것으로 나타났다.