[논문 리뷰] Microsoft COCO Captions: Data Collection and Evaluation Server

Xinlei Chen, Hao Fang외 5명|arXiv (Cornell University)|2015. 04. 01.

Multimodal Machine Learning Applications참고 문헌 47인용 수 1,628

한 줄 요약

이 논문은 33만 장의 이미지에 대해 150만 개 이상의 인간 레이블링된 캡션을 포함하는 Microsoft COCO 캡션 데이터셋과, BLEU, METEOR, ROUGE, CIDEr 메트릭을 사용해 자동 캡션 모델을 평가하는 표준화된 평가 서버를 소개한다. 주요 기여는 인간 레이블링 기반의 일관되고 확장 가능한 평가 프레임워크와 온라인 서버를 통해 훈련, 검증, 테스트 세트에서 이미지 캡션 알고리즘에 대한 공정하고 재현 가능한 벤치마킹을 가능하게 한 것이다.

ABSTRACT

In this paper we describe the Microsoft COCO Caption dataset and evaluation server. When completed, the dataset will contain over one and a half million captions describing over 330,000 images. For the training and validation images, five independent human generated captions will be provided. To ensure consistency in evaluation of automatic caption generation algorithms, an evaluation server is used. The evaluation server receives candidate captions and scores them using several popular metrics, including BLEU, METEOR, ROUGE and CIDEr. Instructions for using the evaluation server are provided.

연구 동기 및 목표

• 이미지 캡션 모델 훈련 및 평가를 위한 대규모 인간 레이블링 기반 이미지 캡션 데이터셋을 구축하기 위해.
• 자동 평가의 일관성 문제를 해결하기 위해 일관된 메트릭 구현을 갖춘 중앙집중식 표준화된 평가 서버를 제공하기 위해.
• 특히 이미지당 40개의 참조 캡션을 가진 c40 서브셋을 통해 자동 메트릭과 인간 판단 간의 상관관계를 향상시키기 위해.
• 공개된 참조 캡션에서 분리된 테스트 세트 평가를 통해 캡션 생성 모델 간의 공정한 비교를 가능하게 하여 과적합 위험을 줄이기 위해.
• 미래의 인간 평가 연구를 지원하여 자동 메트릭을 인간 판단과 대비해 검증하고 개선하기 위해.

제안 방법

• 표준화된 지침을 사용해 Amazon Mechanical Turk를 통해 데이터 수집하여, 최소 8개의 단어를 포함하고, 명사, 현재형, 반사대명사 등을 포함하지 않는 기술적·맥락적으로 관련된 캡션을 확보하기 위해.
• MS COCO c5(이미지당 5개의 참조)와 MS COCO c40(5,000장의 테스트 이미지당 40개의 참조)라는 두 가지 데이터셋을 구축하여 자동 메트릭과 인간 판단 간의 상관관계를 향상시키기 위해.
• CodaLab에 호스팅된 중앙집중식 평가 서버를 구현하여 제출된 후보 캡션에 대해 BLEU-1에서 BLEU-4, METEOR, ROUGE-L, CIDEr-D 점수를 계산하기 위해.
• 후보 캡션과 참조 캡션의 일관된 토크나이제이션 및 전처리를 위해 Stanford PTBTokenizer를 사용하기 위해.
• 인간의 일致성 패턴을 기반으로 한 시스템 성능 평가를 위해 새로운 메트릭인 인간 재현율 기반 정밀도(PHR)를 도입하기 위해.
• 확률적 프레임워크를 사용해 단어 사용 확률(p)과 고정된 재현율을 추정함으로써, 다양한 수의 참조 캡션에서 정밀도-재현율 다이내믹스를 분석하기 위해.

실험 결과

연구 질문

• RQ1 인간 레이블러를 활용해 대규모로 다양하고 일관된 이미지 캡션 데이터셋을 어떻게 스케일링하여 수집할 수 있는가?
• RQ2 자동 평가 메트릭이 인간 판단과 얼마나 상관관계가 있으며, 이를 어떻게 향상시킬 수 있는가?
• RQ3 이미지당 참조 캡션 수를 늘릴 경우 자동 평가 메트릭의 신뢰성과 공정성에 어떤 영향을 미치는가?
• RQ4 표준화된 중앙집중식 평가 서버는 이미지 캡션 모델 벤치마킹에서 변동성과 과적합을 어떻게 줄이는가?
• RQ5 인간 캡션 행동 패턴과의 상관관계를 더 잘 반영할 수 있는 새로운 메트릭인 인간 재현율 기반 정밀도(PHR)는 시스템 성능 평가에 더 유용한가?

주요 결과

• 최종 데이터셋은 33만 장의 이미지에 대해 총 1,026,459개의 캡션을 포함하며, c5에서는 이미지당 5개의 참조, c40에서는 40개의 참조를 포함한다. 모든 데이터는 엄격한 레이블링 지침을 기반으로 Mechanical Turk를 통해 수집되었다.
• 평가 서버는 제출된 후보 캡션에 대해 BLEU, METEOR, ROUGE, CIDEr 등의 표준 메트릭을 계산하여 일관되고 재현 가능한 벤치마킹을 가능하게 한다.
• 이미지당 40개의 참조 캡션을 사용하는 c40에서는, 단지 5개의 참조를 사용하는 경우보다 자동 메트릭과 인간 판단 간의 상관관계가 뚜렷이 향상된다.
• 참조 캡션 수가 적을수록 인간 일치 정밀도는 감소하지만 재현율은 일정하게 유지되므로, 인간 행동을 추정하기 위해 고정된 재현율 모델을 사용하는 것이 타당하다고 확인되었다.
• 제안된 PHR 메트릭은 고정된 재현율에서 인간 정밀도와 강한 일치를 보이며, 표준 메트릭만으로는 부족한 보다 신뢰할 수 있는 시스템 성능 기준을 제공한다.
• 모델 예측에 따르면, 인식자 수가 증가할수록 인간 정밀도는 1.0에 수렴하며, 이는 충분한 수의 레이블이 있을 경우 시각적 객체에 대한 단어 사용이 매우 일관성이 있음을 확인한다.