[논문 리뷰] A Comprehensive Survey of Deep Learning for Image Captioning

Md Zakir Hossain, Ferdous Sohel외 2명|arXiv (Cornell University)|2018. 10. 06.

Multimodal Machine Learning Applications참고 문헌 141인용 수 12

한 줄 요약

이 종합적 서베이에서는 딥러닝 기반 이미지 캡션 생성 방법을 13개의 구체적인 접근 방식으로 분류하며, 주로 주의 메커니즘 기반, 인코더-디코더, 다중모달 아키텍처 등을 포함한다. 표준 데이터셋인 MSCOCO와 BLEU, ROUGE, METEOR, SPICE 등의 평가 지표를 사용하여 성능을 평가하며, 주의 메커니즘과 다중모달 융합이 캡션 품질 향상과 의미 정확도 향상의 핵심 요인임을 강조한다.

ABSTRACT

Generating a description of an image is called image captioning. Image captioning requires to recognize the important objects, their attributes and their relationships in an image. It also needs to generate syntactically and semantically correct sentences. Deep learning-based techniques are capable of handling the complexities and challenges of image captioning. In this survey paper, we aim to present a comprehensive review of existing deep learning-based image captioning techniques. We discuss the foundation of the techniques to analyze their performances, strengths and limitations. We also discuss the datasets and the evaluation metrics popularly used in deep learning based automatic image captioning.

연구 동기 및 목표

• 2015년 이후 출간된 딥러닝 기반 이미지 캡션 생성 기법에 대한 종합적 리뷰를 제공함으로써 이전 서베이에서 다루지 못한 분야를 메우는 것.
• 주의 기반, 인코더-디코더, 다중모달 접근 방식을 포함한 13가지의 구체적 딥러닝 기반 이미지 캡션 생성 방법을 분류하고 분석하는 것.
• MSCOCO, Flickr30k, Visual Genome 등의 표준 데이터셋을 사용하여 이러한 방법들의 성능을 평가하고 비교하는 것.
• FLUENCY, 적합성, 의미 정확도 평가 능력 측면에서 BLEU, ROUGE, METEOR, CIDEr, SPICE 등 널리 사용되는 평가 지표의 분석 및 대비 분석.
• 현재 기법의 한계를 규명하고 향후 연구 방향을 제안하는 것 — 예를 들어 오픈 도메인 캡션 생성, 외부 지식 통합, 비지도 학습 또는 강화 학습 기반 학습

제안 방법

• 이 논문은 딥러닝 기반 이미지 캡션 생성 기법에 대한 체계적인 분류 체계를 수립하며, 주의 기반, 인코더-디코더, 의미 개념 기반 모델 등을 포함한 13개의 카테고리로 분류한다.
• MSCOCO, Flickr30k, Visual Genome와 같은 표준 벤치마크를 사용하여 방법을 평가하며, 이는 다양한 다중 캡션을 가진 이미지를 학습 및 테스트에 활용한다.
• BLEU는 n-그램 정밀도를, ROUGE는 재현율과 유창성을, METEOR는 세그먼트 수준의 정렬을, CIDEr는 주목할 만한 특징을, SPICE는 의미 정확도를 평가하는 데 사용되는 다수의 평가 지표를 분석한다.
• CNN-LSTM 인코더 아키텍처, 주의 메커니즘, 시각적 및 언어적 특징을 함께 임bedding하는 다중모달 융합 전략 등의 아키텍처를 비교 분석한다.
• 교차 엔트로피 손실을 사용한 지도 학습을 강조하지만, 다양성과 품질 향상을 위해 강화 학습 및 GAN 기반 접근 방식도 논의한다.
• 시각적 주의 메커니즘이 주목할 만한 이미지 영역에 집중함으로써 캡션의 관련성과 통일성 향상에 기여하는 역할을 강조한다.

Figure 1. An overall taxonomy of deep learning-based image captioning.

실험 결과

연구 질문

• RQ1 주의 기반, 인코더-디코더, 다중모달 모델 등의 다양한 딥러닝 아키텍처는 정확하고 다양한 이미지 캡션 생성에 있어 어떻게 비교되는가?
• RQ2 BLEU, ROUGE, METEOR, CIDER, SPICE 등 기존 평가 지표의 장점과 한계는 무엇이며, 캡션 품질 측정 능력에 있어 어떤 영향을 미치는가?
• RQ3 현재 모델들은 이미지 내에서 주요 객체, 속성 및 그 관계를 탐지하지 못하는 정도는 어느 정도인가?
• RQ4 외부 지식 통합과 비지도 학습 또는 강화 학습 기반 접근 방식은 지도 학습을 넘어서 캡션 생성 품질을 향상시키는 데 어떻게 기여할 수 있는가?
• RQ5 오픈 도메인 이미지에 대해 고품질, 의미적으로 풍부하고 다양한 캡션을 생성하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 주의 기반 모델은 표준 인코더-디코더 아키텍처보다 동적으로 관련 있는 이미지 영역에 집중함으로써 생성된 캡션의 정확성과 관련성 향상에 뛰어난 성능을 보인다.
• SPICE는 의미적 내용을 더 잘 포착하므로 BLEU나 ROUGE만 사용하는 것보다 캡션 품질 평가에 더 효과적이다.
• Gu et al. 및 Yao et al.의 방법은 높은 의미 정확도를 달성하지만, Rennie et al. 및 Lu et al.의 방법은 더 유창하고 적합하며 문법적으로 정확한 캡션을 생성한다.
• 진전이 있었음에도 불구하고, 현재 모델들은 복잡하거나 오픈 도메인 환경에서의 주요 객체와 관계 탐지에 여전히 어려움을 겪는다.
• 지도 학습 기반 방법들은 대규모 애너테이션 데이터셋에 크게 의존하므로, 애너테이션 의존도를 줄이기 위해 비지도 학습 및 강화 학습 기반 접근 방식의 필요성이 강조된다.
• 향후 연구는 오픈 도메인 캡션 생성, 외부 지식 통합, 생성된 캡션의 다양성과 사실적 일관성 향상에 초점을 맞춰야 한다.

Figure 2. A block diagram of multimodal space-based image captioning.