[논문 리뷰] Quality Estimation for Image Captions Based on Large-scale Human Evaluations

Tomer Levinboim, Ashish Thapliyal외 2명|arXiv (Cornell University)|2019. 09. 08.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 대규모 인간 평가를 바탕으로 한 이미지 캡션 품질 평가(QE) 프레임워크를 제안한다. Open Images Dataset에서 유저가 제공한 65,000개의 이미지-캡션 쌍에 대해 약 60만 건의 이진 평가를 수집하였다. 이 데이터를 바탕으로 다중모달 모델을 훈련시켜 참조 문장이 없는 상태에서도 캡션 품질을 예측한다. 외부 도메인 데이터에서 저품질 캡션을 걸러내는 데 높은 AUC(0.84)를 기록하며, 일반화 능력과 접근성 향상에 실용적인 활용 가능성을 입증한다.

ABSTRACT

Automatic image captioning has improved significantly over the last few years, but the problem is far from being solved, with state of the art models still often producing low quality captions when used in the wild. In this paper, we focus on the task of Quality Estimation (QE) for image captions, which attempts to model the caption quality from a human perspective and without access to ground-truth references, so that it can be applied at prediction time to detect low-quality captions produced on previously unseen images. For this task, we develop a human evaluation process that collects coarse-grained caption annotations from crowdsourced users, which is then used to collect a large scale dataset spanning more than 600k caption quality ratings. We then carefully validate the quality of the collected ratings and establish baseline models for this new QE task. Finally, we further collect fine-grained caption quality annotations from trained raters, and use them to demonstrate that QE models trained over the coarse ratings can effectively detect and filter out low-quality image captions, thereby improving the user experience from captioning systems.

연구 동기 및 목표

• 참조 문장이 없는 조건에서 확장 가능한 인간 평가 프로세스를 개발하여 캡션 품질에 대한 근본적인 평가를 수집하는 것.
• 약 60만 건의 이진 인간 평가를 포함한 대규모 공개 데이터셋(Caption-Quality)을 구축하는 것.
• 새로운 이미지에 대해 일반화되며 단순한 이미지-텍스트 유사도 기반 모델을 능가하는 품질 평가 기준 모델을 수립하는 것.
• 코arse 평가로 훈련된 QE 모델이 세밀한 인간 주석을 기반으로 한 평가 세트에서 저품질 캡션을 효과적으로 식별하고 걸러낼 수 있는지 검증하는 것.
• QE 모델이 실제 운영 환경에서 저품질 캡션을 걸러내어 사용자 경험을 향상시키는 데 실용적인 유용성을 입증하는 것.

제안 방법

• 참조 문장에 접근할 수 없으며, 이미지의 맥락만을 기반으로 애너테이터가 캡션을 '좋음' 또는 '나쁨'으로 평가하는 크우드소싱 파이프라인을 설계한다.
• Open Images Dataset에서 약 60만 건의 이진 품질 평가를 수집하였으며, 이는 16,000개의 고유 이미지와 55,000개의 고유 이미지-캡션 쌍을 포함한다.
• 이미지와 캡션 특징를 융합하기 위해 이중선형 상호작용 레이어를 사용하는 다중모달 신경망을 훈련시켜 품질 평가를 수행한다.
• Conceptual Captions와 같은 대규모 이미지-캡션 데이터셋을 사용하여 다중모달 사전학습 목표를 통해 모델을 미세조정하여 일반화 능력을 향상시킨다.
• 정밀도-재현율 곡선과 AUC 점수를 사용하여, 숙련된 평가자들이 제공한 세밀한 주석이 포함된 검증 데이터셋에서 QE 모델 성능을 평가한다.
• QE 점수에 임계값을 적용하여 저품질 캡션을 걸러내며, 전문가 평가자들이 판단한 정확성과 유용성에 대한 다수의 동의를 기반으로 평가한다.

실험 결과

연구 질문

• RQ1 참조 문장이 없는 조건에서 확장 가능한 인간 평가 프로세스가 일관되고 신뢰할 수 있는 캡션 품질 신호를 수집할 수 있는가?
• RQ2 코어스 이진 평가로 표현된 품질 신호가 신경망 모델에 의해 학습 가능하며, 외부 도메인 이미지로도 일반화 가능한가?
• RQ3 코어스 평가로 훈련된 QE 모델이 세밀한 평가 세트에서 정확하고 도움이 되는 캡션과 잘못되거나 도움이 되지 않는 캡션을 효과적으로 구분할 수 있는가?
• RQ4 다중모달 사전학습이 이 작업에서 품질 평가 모델의 성능을 어떻게 향상시키는가?
• RQ5 QE 모델이 저품질 출력을 걸러내는 방식으로 얼마나 실질적인 캡션 생성 시스템의 성능을 향상시킬 수 있는가?

주요 결과

• Caption-Quality 데이터셋은 확장 가능한 크우드소싱 프로세스를 통해 수집된 약 60만 건의 인간 평가를 포함하며, 이는 65,000개의 이미지-캡션 쌍에 해당한다. 이 데이터셋은 안정적이고 일관된 신호를 포함하고 있다.
• 가장 성능이 뛰어난 QE 모델은 개발 세트에서 스피어만 상관계수 0.72, 테스트 세트에서 0.70을 기록하였으며, 이미지-텍스트 유사도 기반 베이스라인을 크게 능가하였다.
• 대규모 이미지-캡션 데이터에서의 사전학습이 QE 모델 성능 향상에 기여하였으며, 미세조정된 모델은 외부 평가 세트에서 AUC 0.84를 달성하였다.
• 사전학습 및 미세조정된 이중선형 모델은 재현율 0.71일 때 정밀도 0.8을 기록하였으며, 이는 이미지-텍스트 유사도 기반 베이스라인 대비 커버리지가 3.4배 향상된 것이다.
• 코어스 평가로 훈련된 QE 모델은 훈련 과정에서 세밀한 주석을 접촉하지 않은 외부 도메인 이미지에 대해서도 저품질 캡션을 효과적으로 일반화하여 걸러내는 데 성공하였다.
• 이 데이터셋은 캡션 재정렬 및 강화학습 기반 캡션 생성과 같은 효과적인 후행 응용 프로그램을 가능하게 하며, 외부 평가를 통한 실용성에 기여하였다.