[논문 리뷰] Fast, Diverse and Accurate Image Captioning Guided By Part-of-Speech

Aditya Deshpande, Jyoti Aneja외 3명|arXiv (Cornell University)|2018. 05. 31.

Multimodal Machine Learning Applications참고 문헌 34인용 수 13

한 줄 요약

이 논문은 이미지의 고수준 개요로 사용되는 양자화된 어미형태(tag) 시퀀스를 조건으로 삼아 빠르고 정확하며 다양한 이미지 설명을 생성하는 방법을 제안한다. 이미지에서 다양한 POS 시퀀스를 예측하고 각각에 조건을 두어 설명을 생성함으로써, 비드 서치, 다각도 비드 서치, VAE, GAN과 비교해 정확도, 속도, 다양성에서 뛰어난 성능을 달성한다.

ABSTRACT

Image captioning is an ambiguous problem, with many suitable captions for an image. To address ambiguity, beam search is the de facto method for sampling multiple captions. However, beam search is computationally expensive and known to produce generic captions. To address this concern, some variational auto-encoder (VAE) and generative adversarial net (GAN) based methods have been proposed. Though diverse, GAN and VAE are less accurate. In this paper, we first predict a meaningful summary of the image, then generate the caption based on that summary. We use part-of-speech as summaries, since our summary should drive caption generation. We achieve the trifecta: (1) High accuracy for the diverse captions as evaluated by standard captioning metrics and user studies; (2) Faster computation of diverse captions compared to beam search and diverse beam search; and (3) High diversity as evaluated by counting novel sentences, distinct n-grams and mutual overlap (i.e., mBleu-4) scores.

연구 동기 및 목표

• 이미지 기술의 본질적인 모호성에 대비해 다양하고 정확하며 계산적으로 효율적인 이미지 설명 생성의 과제를 해결한다.
• 느리고 일반적이며 다양성이 낮은 설명을 생성하는 비드 서치의 한계를 극복한다.
• 해석이 불가능한 잠재 공간으로 인해 정확도를 희생하는 VAE 및 GAN 기반 방법의 한계를 개선한다.
• 의미 있고 해석 가능한 이미지 요약(POS 시퀀스)을 활용해 다양하고 정확한 설명 생성을 유도하는 설명 생성 시스템을 개발한다.

제안 방법

• 이미지 특징을 추출하고 이미지의 고수준 요약으로서 양자화된 어미형태(POS) 태그 시퀀스를 예측하기 위해 컨volutional 신경망을 사용한다.
• 각 예측된 POS 시퀀스에 조건을 두어, 요약이 암시하는 언어적 구조에 맞는 설명을 생성하는 설명 생성 네트워크를 조건화한다.
• 각 POS 요약에 대해 좁은 비드를 사용해 비드 서치를 적용함으로써 속도를 확보하면서도, 단어 단위로 문장을 생성하기 위해 컨volutional 신경망 기반 언어 디코더를 사용한다.
• 공동 학습 중에는 Gumbel-Softmax 샘플링을 사용해 POS 예측 헤드의 미분 가능 학습을 가능하게 하되, 추론 시에는 argmax를 사용해 속도를 유지한다.
• POS 태그의 해석 가능성에 기반해, 예를 들어 특정 위치에 더 많은 형용사나 명사를 강제함으로써 설명 다양성을 유도하며, 비정형 잠재 변수에 의존하지 않는다.
• 이미지에서 POS로의 변환과 POS에서 설명으로의 생성을 함께 최적화할 수 있도록, 종단 간 학습 가능한 프레임워크 내에서 설명 모델과 POS 예측기의 조합을 구현한다.

실험 결과

연구 질문

• RQ1 어미형태 태그 시퀀스는 다양하고 정확한 이미지 설명 생성을 유도하는 효과적이고 해석 가능한 요약으로서 기능할 수 있는가?
• RQ2 여러 개의 POS 시퀀스에 조건을 두어 설명을 생성하면, 비드 서치 및 다각도 비드 서치에 비해 더 높은 설명 다양성을 달성할 수 있는가?
• RQ3 POS 지도 방법은 정확도를 높이면서도 VAE 및 GAN 기반 방법보다 더 빠른 추론 속도를 유지할 수 있는가?
• RQ4 사용자 연구 및 CIDEr, Spice, mBleu-4와 같은 표준 평가 지표에서, POS 기반 설명은 기존 방법보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• POS 기반 방법은 높은 정확도, 빠른 추론, 높은 다양성의 삼위일체를 달성하여 비드 서치, 다각도 비드 서치, AG-CVAE, GAN 기반 방법을 모두 능가한다.
• COCO 테스트 세트에서 POS 기반 설명 생성은 4-그램 겹침이 없는 문장 비율이 10.94%로, 다각도 비드 서치(1.02%)와 비드 서치(2.4%)보다 뚜렷이 높게 나타났다(mBleu-4 = 0).
• 비드 서치 및 다각도 비드 서치보다 5배 빠르며, VAE 및 GAN 기반 방법과 유사한 시간 복잡도를 가진다.
• POS 기반 설명은 CIDEr 및 Spice 지표에서 AG-CVAE보다 높은 best-1 및 best-10 정확도 스코어를 기록하여 더 뛰어난 설명 품질을 입증했다.
• 123명의 참가자가 참여한 사용자 연구에서, POS 기반 설명은 비드 서치 설명보다 68.3%, AG-CVAE 설명보다 62.1% 더 선호되었다.
• 공동 학습에서, 이미지당 20개의 설명 중 96.3%가 고유한 문장(19.26개의 고유 문장)을 생성했으며, 100개의 고유 문장 중 91.55개가 고유 문장이었고, 모든 기준선 대비 더 높은 새로운 문장 및 고유 n-그램 다양성을 확보했다.