[논문 리뷰] Technical Report: Image Captioning with Semantically Similar Images

Martin Kolář, Michal Hradiš외 1명|arXiv (Cornell University)|2015. 06. 12.

Multimodal Machine Learning Applications참고 문헌 5인용 수 5

한 줄 요약

이 논문은 단순하면서도 효과적인 이미지 캡션 생성 방법을 제안한다. 이 방법은 CNN 임베딩을 사용해 의미적으로 유사한 훈련 이미지를 검색하고, 그들의 집합적 캡션들 중에서 유니그램 빈도를 기반으로 가장 대표적인 캡션을 선택한다. 표준 자동 평가 지표에서 낮은 점수를 기록했음에도 불구하고, 튜링 테스트 통과 비율에서 인간 캡션을 능가하며, 인간 평가에서도 뛰어난 성능을 보인다.

ABSTRACT

This report presents our submission to the MS COCO Captioning Challenge 2015. The method uses Convolutional Neural Network activations as an embedding to find semantically similar images. From these images, the most typical caption is selected based on unigram frequencies. Although the method received low scores with automated evaluation metrics and in human assessed average correctness, it is competitive in the ratio of captions which pass the Turing test and which are assessed as better or equal to human captions.

연구 동기 및 목표

• 의미적 유사성을 활용하는 단순한 비생성형 이미지 캡션 생성 접근법을 개발한다.
• 의미적으로 유사한 훈련 이미지의 다수 캡션을 집계하고 선택하여 캡션 품질을 향상시킨다.
• 표준 평가 지표 외에도 인간 평가 및 튜링 테스트 기준으로 성능을 평가한다.
• 종료형 훈련 없이 최소한의 아키텍처 복잡도로 강력한 베이스라인을 확립한다.

제안 방법

• 사전 훈련된 Caffe CNN(ImageNet-ILSVRC)의 마지막 완전 연결층을 4096차원의 의미적 임베딩으로 사용한다.
• CNN 임베딩 공간에서 코사인 거리 기반으로 테스트 이미지에 가장 가까운 10개의 훈련 이미지를 찾는다.
• 모든 50개의 캡션(이미지당 5개 × 10개의 근접 이미지)을 후보 코퍼스로 수집하며, 이미지 순서는 무시한다.
• 빈도 기반 정리 과정을 적용한다: 코퍼스에 가장 빈도가 높은 단어를 포함하지 않는 문장을 반복적으로 제거하며, Google N-grams의 100개의 가장 흔한 단어는 건너뛴다.
• 유일한 문장이 남을 때까지 정리 과정을 반복하고, 이를 최종 캡션으로 선택한다.
• 근접 이웃 검색에 대해 고정된 n=10을 사용하며, 코사인 거리가 다른 거리 측정 방법보다 성능이 뛰어나다.

실험 결과

연구 질문

• RQ1 의미적 유사성과 유니그램 빈도에 기반한 단순한 비생성형 방법이 더 복잡한 모델보다 인간 평가에서 뛰어난 성능을 보일 수 있는가?
• RQ2 유니그램 빈도 기반 캡션 품질은 자연스럽고 통일감 있는 인간 캡션과 비교해 어떻게 평가되는가?
• RQ3 검색 기반 캡션 시스템이 인간이 작성한 캡션과 비교해 튜링 테스트를 얼마나 잘 통과할 수 있는가?
• RQ4 낮은 자동 평가 지표 점수에도 불구하고, 이 방법이 인간 평가에서 '더 나은가 또는 동등한가'로 평가받는 비율이 인간 캡션을 능가하는가?

주요 결과

• 이 방법은 인간 캡션보다 더 나은가 또는 동등한 것으로 평가된 캡션 비율이 19.4%로, 무작위 선택(0.7%)보다 유의미하게 높고 인간 성능(63.8%)에 가까워졌다.
• 생성된 캡션 중 21.3%가 튜링 테스트를 통과했으며, 인간 캡션의 67.5%와 비교해 높은 수준이었고, 무작위 선택은 2.0%에 그쳤다.
• 평균 정확도 점수는 5점 만점에 3.079점으로, 무작위(1.084점)보다는 훨씬 높았지만 인간(4.836점)보다는 낮았다.
• 평균 세부 정보 수준은 5점 만점에 3.482점으로, 인간(3.428점)과 비슷했고, 무작위(3.247점)보다는 유의미하게 높아 적절한 묘사 품질을 보였다.
• 이 방법은 인간 설명과 유사한 것으로 평가된 캡션 비율이 15.4%였으며, 인간 캡션은 35.2%, 무작위 선택은 1.3%였다.
• 표준 자동 평가 지표에서 낮은 점수를 기록했음에도 불구하고, 이 방법은 인간 중심 평가에서 특히 주관적 품질과 인간다움 측면에서 뛰어난 성능을 보였다.