[논문 리뷰] Diverse Video Captioning Through Latent Variable Expansion with Conditional GAN.

Huanhou Xiao, Jinglun Shi|arXiv (Cornell University)|2019. 10. 26.

Multimodal Machine Learning Applications참고 문헌 31인용 수 4

한 줄 요약

이 논문은 인코더-디코더 기반 아키텍처에서 유도된 잠재 변수를 확장하여 다수의 CNN 생성기와 판별기로 구성된 조건부 GAN 기반 프레임워크를 제안한다. 이는 다양한 고급도의 캡션을 생성함으로써 영상 캡션의 다양성을 향상시킨다. 제안된 방법은 표준 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 캡션의 다양성을 측정하는 새로운 DCE 지표를 도입한다.

ABSTRACT

Automatically describing video content with text description is challenging but important task, which has been attracting a lot of attention in computer vision community. Previous works mainly strive for the accuracy of the generated sentences, while ignoring the sentences diversity, which is inconsistent with human behavior. In this paper, we aim to caption each video with multiple descriptions and propose a novel framework. Concretely, for a given video, the intermediate latent variables of conventional encode-decode process are utilized as input to the conditional generative adversarial network (CGAN) with the purpose of generating diverse sentences. We adopt different Convolutional Neural Networks (CNNs) as our generator that produces descriptions conditioned on latent variables and discriminator that assesses the quality of generated sentences. Simultaneously, a novel DCE metric is designed to assess the diverse captions. We evaluate our method on the benchmark datasets, where it demonstrates its ability to generate diverse descriptions and achieves superior results against other state-of-the-art methods.

연구 동기 및 목표

• 기존 영상 캡션 모델에서 다양성 부족 문제를 해결하기 위해 정확도에 치중하는 경향이 있는 점을 다루기 위해.
• 각 영상에 대해 다수의 상이한 맥락적 정확도를 갖춘 캡션을 생성하여 인간의 기술적 기술을 모방하기 위해.
• 캡션의 다양성을 어순성과 관련성 이외의 측면에서 정량적으로 측정할 수 있는 새로운 평가 지표인 DCE를 개발하기 위해.
• 사전 훈련된 인코더-디코더 모델에서 유도된 조건부 GAN과 잠재 변수를 통합하여 보다 향상된 캡션 생성 성능을 달성하기 위해.
• 표준 벤치마크 데이터셋에서 캡션 품질과 다양성 측면에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 기존 영상 캡션 인코더-디코더 모델에서 유도된 잠재 변수를 조건부 GAN(CGAN)의 입력으로 사용하여 다양한 캡션 생성을 가능하게 한다.
• 다양한 샘플링된 잠재 변수에 조건부로 작동하는 다수의 CNN 기반 생성기를 활용하여 다양성을 증진시킨다.
• 판별망 네트워크는 생성된 캡션의 현실성과 품질을 평가하여 실제 문장과 생성된 문장을 구분한다.
• CGAN 프레임워크는 엔드 투 엔드로 훈련되며, 생성기는 잠재 코드에 조건부로 다양한 정확한 캡션을 생성하도록 학습된다.
• 캡션 다양성을 정량적으로 평가하기 위해 새로운 DCE(Diversity-Consistency-Entropy) 지표를 도입한다.
• 표준 평가 프rotocol를 사용하여 표준 영상 캡션 벤치마크에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 CGAN 기반 프레임워크는 동일한 영상 입력에 대해 효과적으로 다양한 캡션을 생성할 수 있는가?
• RQ2 기존의 순차적 생성 모델 대비 잠재 변수 확장을 통해 캡션 다양성이 어떻게 향상되는가?
• RQ3 제안된 DCE 지표는 인간 평가자의 캡션 다양성 판단과 어느 정도 상관관계가 있는가?
• RQ4 제안된 방법은 기존 최신 기술 수준(SOTA) 모델 대비 캡션 품질과 다양성 측면에서 뛰어난 성능을 보이는가?
• RQ5 다양한 잠재 코드에 조건부로 작동하는 다수의 CNN 생성기는 더 다양한 맥락적 정확도를 갖춘 캡션을 생성할 수 있는가?

주요 결과

• 제안된 방법은 표준 벤치마크 데이터셋에서 다양한 영상 캡션 생성 성능에서 최신 기술 수준(SOTA)을 달성한다.
• DCE 지표는 캡션 다양성을 성공적으로 정량화하며 인간 평가의 기술적 다양성 판단과 상관관계가 있다.
• 모델은 각 영상에 대해 다수의 상이하고 맥락적으로 관련된 캡션을 생성하여 인간과 유사한 다양성을 반영한다.
• CGAN 기반의 잠재 변수 확장 기법은 어순성이나 관련성 손실 없이 캡션 다양성을 크게 향상시킨다.
• 표준 벤치마크에서 표준 평가 프로토콜를 사용하여 제안된 프레임워크는 기존 SOTA 방법보다 캡션 품질과 다양성 지표에서 모두 뛰어난 성능을 보였다.
• 제거 실험 결과, CGAN 구성요소와 잠재 변수 확장 기법이 다양성 향상에 핵심 요소임을 확인하였다.