[논문 리뷰] Exploring Nearest Neighbor Approaches for Image Captioning

Jacob Devlin, Saurabh Gupta외 3명|arXiv (Cornell University)|2015. 05. 17.

Multimodal Machine Learning Applications참고 문헌 34인용 수 160

한 줄 요약

이 논문은 이미지 캡션 생성을 위해 최근접 이웃(NN) 방법을 평가하며, 유사한 훈련 이미지를 검색하고 CIDEr 또는 BLEU 점수를 사용하여 그들의 캡션에서 공감대를 이끌어내는 방식을 사용한다. BLEU 및 CIDEr와 같은 자동 평가 지표에서는 많은 신경망 캡션 모델들을 능가하지만, 인간 평가 결과에서는 여전히 생성 모델이 선호됨을 보여주며, 자동 지표와 인간 판단 사이의 괴리가 드러난다.

ABSTRACT

We explore a variety of nearest neighbor baseline approaches for image captioning. These approaches find a set of nearest neighbor images in the training set from which a caption may be borrowed for the query image. We select a caption for the query image by finding the caption that best represents the "consensus" of the set of candidate captions gathered from the nearest neighbor images. When measured by automatic evaluation metrics on the MS COCO caption evaluation server, these approaches perform as well as many recent approaches that generate novel captions. However, human studies show that a method that generates novel captions is still preferred over the nearest neighbor approach.

연구 동기 및 목표

• 간단한 최근접 이웃 접근 방식이 자동 평가 지표에서 최신 신경망 캡션 모델과 비슷하거나 뛰어난 성능을 낼 수 있는지 조사하기 위해.
• 인간 수준의 이미지 캡션을 달성하기 위해 캡션 생성과 캡션 검색의 역할을 평가하기 위해.
• 캡션 품질 평가에서 자동 지표(BLEU, CIDEr)와 인간 판단 사이의 격차를 평가하기 위해.
• 최근접 이웃 검색에서 이미지 캡션 생성에 효과적인 다양한 이미지 특징 표현 방식—GIST, 사전 훈련된 딥 특징, 미세조정된 특징—의 효과를 탐색하기 위해.
• MS COCO 데이터셋에서 검색 기반 모델과 생성 기반 모델을 비교하여未래 연구를 위한 기준을 제공하기 위해.

제안 방법

• 각 쿼리 이미지에 대해, GIST, 사전 훈련된 ImageNet 특징(fc7), 캡션 생성을 위한 미세조정된 특징 등의 다양한 특징 공간을 사용하여 k개의 최근접 훈련 이미지를 검색한다.
• k개의 최근접 이웃 이미지에서 캡션 후보들을 수집하여 쿼리 이미지의 잠재적 캡션 집합을 구성한다.
• 다른 캡션 후보들과의 일치도를 측정하는 점수를 최대화하여 공감대 캡션을 선택하며, 이 점수 계산에 CIDEr 또는 BLEU를 사용한다.
• 최종 캡션은 후보 캡션들 중에서 가장 높은 공감대 점수를 확보한 것으로 선택되며, CIDEr는 더 구체적이고 다양한 캡션을 선호한다.
• 표준 자동 평가 지표(BLEU, METEOR, CIDEr)와 인력 평가를 통해 인터넷 기반의 인력 평가를 수행하여 MS COCO 테스트 세트에서 평가한다.
• 인간 평가에서는 시스템이 생성한 캡션과 인간이 작성한 캡션을 비교하며, 더 나은가, 동일한가, 열 劣한가를 판단한 비율을 측정한다.

실험 결과

연구 질문

• RQ1 최근접 이웃 기반 캡션 생성 접근 방식이 자동 평가 지표에서 최신 신경망 캡션 모델과 유사한 성능을 낼 수 있는가?
• RQ2 자동 평가 지표 점수가 유사한 상황에서도 인간 평가자들이 왜 여전히 생성 모델을 최근접 이웃 기반 방법보다 선호하는가?
• RQ3 다양한 이미지 특징 표현 방식(GIST, 사전 훈련된, 미세조정된)이 검색된 캡션의 품질에 어떤 영향을 미치는가?
• RQ4 BLEU 및 CIDEr와 같은 자동 지표가 이미지 캡션 생성에서 인간 판단과 얼마나 관련이 있는가?
• RQ5 최근접 이웃 검색과 신경망 생성을 조합한 하이브리드 접근 방식이 총합 캡션 품질 향상에 얼마나 효과적인가?

주요 결과

• 미세조정된 딥 특징(fc7-fine)을 사용한 최근접 이웃 접근 방식은 CIDEr 및 BLEU를 포함한 여러 지표에서 MS COCO 테스트 세트에서 2위 또는 3위를 기록했다.
• fc7-fine 모델은 26.5의 CIDEr 점수와 25.1의 BLEU 점수를 기록하여, 최근 몇 년간의 여러 신경망 캡션 모델을 자동 평가에서 능가했다.
• 강력한 자동 평가 지표 점수에도 불구하고 인간 평가 결과에서는 NN 기반 캡션의 27.6%만 인간이 작성한 캡션과 동등하거나 더 낫다고 평가되었으며, 이는 생성 모델(ME + DMSM)의 34.0%에 못 미쳤다.
• CIDEr를 사용한 공감대 캡션 선택 방법은 BLEU 기반 방법보다 더 구체적이고 맥락적으로 풍부한 캡션을 생성했다.
• 미세조정된 딥 특징(fc7-fine)은 GIST와 비미세조정 특징에 비해 최근접 이웃 검색 품질에서 뚜렷한 우수성을 보였다.
• 자동 지표 점수가 인간 선호도를 예측하지 못함을 고려할 때, 자동 지표와 인간 판단 사이에 뚜렷한 괴리가 있음을 시사한다.