[논문 리뷰] Diverse Image Captioning with Context-Object Split Latent Spaces

Shweta Mahajan, Stefan Roth|arXiv (Cornell University)|2020. 11. 02.

Multimodal Machine Learning Applications참고 문헌 53인용 수 25

한 줄 요약

이 논문은 가짜 감독을 통해 이미지 간 및 문장 간의 맥락적 유사성을 활용함으로써 다양성 있는 이미지 설명을 향상시키는 컨텍스트-오브젝트 분리 잠재변수 모델인 COS-CVAE를 제안한다. 잠재공간을 맥락과 오브젝트 성분으로 분해함으로써, 새로운 오브젝트가 포함된 이미지에 대해서도 더 다양하고 정확한 설명을 생성할 수 있으며, COCO 데이터셋에서 최신 기준 성능을 달성하여, 새로운 오브젝트가 포함된 이미지에서 68.1%의 F1 스코어를 기록한다.

ABSTRACT

Diverse image captioning models aim to learn one-to-many mappings that are innate to cross-domain datasets, such as of images and texts. Current methods for this task are based on generative latent variable models, e.g. VAEs with structured latent spaces. Yet, the amount of multimodality captured by prior work is limited to that of the paired training data -- the true diversity of the underlying generative process is not fully captured. To address this limitation, we leverage the contextual descriptions in the dataset that explain similar contexts in different visual scenes. To this end, we introduce a novel factorization of the latent space, termed context-object split, to model diversity in contextual descriptions across images and texts within the dataset. Our framework not only enables diverse captioning through context-based pseudo supervision, but extends this to images with novel objects and without paired captions in the training data. We evaluate our COS-CVAE approach on the standard COCO dataset and on the held-out COCO dataset consisting of images with novel objects, showing significant gains in accuracy and diversity.

연구 동기 및 목표

• 기존의 다양성 있는 이미지 설명 모델에서의 다중모odal성 부족 문제를 해결하기 위해, 짝지어진 훈련 데이터에 의해 제한되는 문제를 해결하고자 한다.
• 약속된 훈련 쌍의 범위를 초월하여, 이미지 간 공유되는 맥락적 서술을 활용하여 설명의 다양성을 향상시키고자 한다.
• 훈련 중에 볼 수 없었던 새로운 오브젝트를 포함한 이미지에 대해 정확하고 다양한 설명 생성을 가능하게 하고자 한다.
• 다양한 설명을 효율적으로 병렬으로 샘플링할 수 있는 변동형 오토인코더 프레임워크를 개발하고자 한다.

제안 방법

• 잠재 표현을 맥락과 오브젝트 성분으로 분해하는 컨텍스트-오브젝트 분리 잠재공간(COS)을 도입한다.
• 유사한 시나리오를 가진 이미지에서의 맥락적 애너테이션을 활용해 가짜 감독을 제공함으로써, 잠재공간 내의 다중모달 다양성을 향상시킨다.
• 이미지에 주어진 조건부 설명의 분포를 모델링하기 위해 구조화된 잠재변수를 갖는 조건부 변동형 오토인코더(CVAE)를 사용한다.
• 캡션 품질을 향상시키면서도 다양성을 유지하기 위해 빔 서치 제약(CBS)을 적용한다.
• 어텐션 메커니즘과 영역 기반 특징을 활용하여 생성된 설명이 시각적 콘텐츠와 정렬되도록 한다.
• 짝지어진 이미지-캡션 데이터와 의미적으로 유사한 이미지로부터 유도된 맥락 기반 가짜 감독을 조합하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 맥락 기반 가짜 감독이 짝지어진 훈련 데이터의 한계를 초월하여 이미지 설명의 다양성과 정확성을 향상시킬 수 있는가?
• RQ2 분해된 잠재공간이 맥락적 정보와 오브젝트 수준의 정보를 효과적으로 분리하여 설명 생성을 향상시킬 수 있는가?
• RQ3 학습 데이터에 존재하지 않는 새로운 오브젝트를 포함한 이미지에 대해 모델이 일반화할 수 있는가?
• RQ4 제안된 COS-CVAE 프레임워크가 표준 벤치마크에서 기존 최신 기준 모델보다 다양성과 정확성 측면에서 모두 뛰어나게 성능을 발휘하는가?

주요 결과

• COS-CVAE는 새로운 오브젝트가 포함된 테스트 코코 데이터셋에서 68.1%의 F1 스코어를 기록하여 이전 방법들을 크게 앞서간다.
• 모델은 높은 정확도를 유지하면서도 다양성 있는 캡션을 생성하여, 단지 5개의 캡션을 샘플링할 경우에도 관련성과 다양성을 반영한 CIDEr 스코어를 확보한다.
• 새로운 오브젝트 언급에 대한 F1 스코어는 5개 샘플일 경우 62.5%에서 100개 샘플일 경우 65.0%로 상승하여, 더 다양한 샘플링이 일반화 능력을 향상시킨다는 것을 입증한다.
• COS-CVAE에 빔 서치 제약(CBS)을 추가하면 F1 스코어가 3.1%p 향상되어, 구조적 디코딩의 유용성을 확인한다.
• 모든 테스트 오브젝트 카테고리 평균 F1 스코어는 65.0%를 기록하여 이전 최신 기준보다 16%p 이상 뛰어나다.
• 모델는 기존 접근 방식에서의 빔 서치의 계산 비효율성을 극복하여, 다양성 있는 캡션을 효율적이고 병렬적으로 샘플링할 수 있다.