[논문 리뷰] Diverse and Accurate Image Description Using a Variational Auto-Encoder with an Additive Gaussian Encoding Space

Liwei Wang, Alexander G. Schwing외 1명|arXiv (Cornell University)|2017. 11. 19.

Multimodal Machine Learning Applications참고 문헌 33인용 수 65

한 줄 요약

이 논문은 잠재 공간을 다수의 가우시안 구성요소로 구조화하여 더 다양한 정확한 이미지 자막을 생성하는 두 개의 CVAE 기반 모델(GMM-CVAE와 AG-CVAE)을 소개합니다. MSCOCO에서 vanilla CVAE와 LSTM보다 성능이 우수하며, AG-CVAE가 더 큰 다양성과 제어 가능성을 제공합니다.

ABSTRACT

This paper explores image caption generation using conditional variational auto-encoders (CVAEs). Standard CVAEs with a fixed Gaussian prior yield descriptions with too little variability. Instead, we propose two models that explicitly structure the latent space around $K$ components corresponding to different types of image content, and combine components to create priors for images that contain multiple types of content simultaneously (e.g., several kinds of objects). Our first model uses a Gaussian Mixture model (GMM) prior, while the second one defines a novel Additive Gaussian (AG) prior that linearly combines component means. We show that both models produce captions that are more diverse and more accurate than a strong LSTM baseline or a "vanilla" CVAE with a fixed Gaussian prior, with AG-CVAE showing particular promise.

연구 동기 및 목표

• 고정된 가우시안 사전분포를 넘어 다양한 정확한 이미지 자막 생성을 동기화합니다.
• 이미지 콘텐츠 모드에 대응하는 다수 가우시안 구성요소로 잠재 공간 구조를 제안합니다.
• 가우시안 혼합 모델(GMM) 사전과 Additive Gaussian(AG) 사전의 두 가지 사전을 개발합니다.
• 기본선 대비 다양성과 정확성 향상 및 콘텐츠 제어 가능한 자막 생성을 가능하게 합니다.

제안 방법

• 이미지 콘텐츠 벡터 c(I)에 조건화를 통해 이미지 자막 작성을 위한 CVAE 프레임워크를 확장합니다.
• GMM-CVAE를 도입합니다: 사전 p(z|c) 은 가중치 c와 구성요소 (μ_k, σ_k)로 구성된 가우시안 혼합모델입니다.
• AG-CVAE를 도입합니다: 사전 p(z|c) 은 구성요소 평균의 선형 결합으로 주어진 가중치 c_k 를 통해 p(z|c) = N(z | sum_k c_k μ_k, σ^2 I)로 얻습니다.
• 두 사전에 대해 encoder q_phi(z|x,c)의 학습을 위한 계산 가능한 KL 항을 도출합니다.
• 학습 시에는 실제 객체 주석을 사용하고, 테스트 시에는 객체 탐지로 c(I)를 얻습니다.
• 인코더/디코더 아키텍처는 LSTM 기반이며, 이미지 콘텐츠에 조건화된 z를 샘플링하고 역전파를 위해 재매개화(trick)를 사용합니다.

실험 결과

연구 질문

• RQ1 다수의 가우시안 구성요소로 잠재 공간을 구조화하면 정확성을 떨어뜨리지 않으면서 자막 다양성을 높일 수 있는가?
• RQ2 GMM-CVAE와 AG-CVAE가 MSCOCO에서 vanilla CVAE와 LSTM보다 더 다양하고 제어 가능한 자막을 생성하는가?
• RQ3 사전 선택(GMM 대 Additive Gaussian)이 다양성, 제어 가능성 및 재정렬 성능에 어떤 영향을 미치는가?
• RQ4 AG-CVAE가 객체 동시 발생을 더 잘 포착하고 콘텐츠 기반 자막 제어를 허용하는가?

주요 결과

표 제목	표 1: 오라클 성능 지표:	표 2: 합의 재정렬 성능(CIDEr 기반)	표 3: 다양성 평가(고유 및 새로운 문장)
obj	#z	std	beam	B4	B3	B2	B1	C	R	M	S
LSTM	-	-	10	0.413	0.515	0.643	0.790	1.157	0.597	0.285	0.218
LSTM	✓	-	10	0.428	0.529	0.654	0.797	1.202	0.607	0.290	0.223
CVAE	-	20	0.1	-	0.261	0.381	0.538	0.742	0.860	0.531	0.246	0.184
CVAE	✓	20	2	-	0.312	0.421	0.565	0.733	0.910	0.541	0.244	0.176
GMM-CVAE	-	20	0.1	-	0.371	0.481	0.619	0.778	1.080	0.582	0.274	0.209
GMM-CVAE	✓	20	2	-	0.423	0.533	0.666	0.813	1.216	0.617	0.298	0.233
GMM-CVAE	✓	100	2	-	0.494	0.597	0.719	0.856	1.378	0.659	0.325	0.261
GMM-CVAE	✓	100	2	2	0.527	0.625	0.740	0.865	1.430	0.670	0.329	0.277
AG-CVAE	-	20	0.1	-	0.431	0.537	0.668	0.814	1.230	0.622	0.300	0.235
AG-CVAE	✓	20	2	-	0.451	0.557	0.686	0.829	1.259	0.630	0.305	0.243
AG-CVAE	✓	100	2	-	0.532	0.631	0.749	0.876	1.478	0.682	0.342	0.278
AG-CVAE	✓	100	2	2	0.557	0.654	0.767	0.883	1.517	0.690	0.345	0.277

• GMM-CVAE와 AG-CVAE는 표준 자막 지표에서 상한 오라클 평가에 대해 LSTM 베이스라인 및 vanilla CVAE를 능가합니다.
• AG-CVAE는 일반적으로 GMM-CVAE보다 더 높은 다양성과 제어 가능성을 달성하며, 이미지당 더 많은 고유 자막과 콘텐츠 벡터에 대한 더 나은 반응성을 보입니다.
• 합의 재정렬은 CIDEr 기준에서 GMM-CVAE와 AG-CVAE가 베이스라인보다 우수하며, AG-CVAE가 약간 더 나은 점수를 달성합니다.
• CVAE 변형은 다수의 z 샘플을 활용할 때 LSTM 빔 검색에 비해 훨씬 높은 다양성을 보입니다(표 3).
• AG-CVAE는 콘텐츠 벡터 c(I)를 수정함으로써 자막에 대한 직관적이고 해석 가능한 제어를 가능하게 합니다.