[논문 리뷰] Re-evaluating Automatic Metrics for Image Captioning

Mert Kilickaya, Aykut Erdem외 2명|arXiv (Cornell University)|2016. 12. 22.

Multimodal Machine Learning Applications참고 문헌 33인용 수 14

한 줄 요약

이 논문은 인간 평가, 방해 요소가 포함된 문장에 대한 정확도, 내성적 탄력성 테스트를 통해 BLEU, ROUGE, METEOR, CIDEr, SPICE 및 워드 무브 거리(WMD)를 비교하여 이미지 캡션 생성에 대한 자동 평가 지표를 재평가한다. WMD는 워드2벡 임베딩을 활용해 의미 유사도를 계산하므로 인간 평가 점수와의 상관관계, 방해 요소에 대한 탄력성, 정확한 캡션 식별 능력에서 다른 지표들을 능가함을 발견하였으며, 이는 WMD가 이미지 캡션 생성 평가에 있어 열등한 지표가 아님을 시사한다.

ABSTRACT

The task of generating natural language descriptions from images has received a lot of attention in recent years. Consequently, it is becoming increasingly important to evaluate such image captioning approaches in an automatic manner. In this paper, we provide an in-depth evaluation of the existing image captioning metrics through a series of carefully designed experiments. Moreover, we explore the utilization of the recently proposed Word Mover's Distance (WMD) document metric for the purpose of image captioning. Our findings outline the differences and/or similarities between metrics and their relative robustness by means of extensive correlation, accuracy and distraction based evaluations. Our results also demonstrate that WMD provides strong advantages over other metrics.

연구 동기 및 목표

• 자동 평가 지표가 인간의 판단을 얼마나 잘 모방하는지 평가하는 것.
• BLEU, ROUGE, METEOR, CIDEr, SPICE 및 WMD와 같은 널리 사용되는 지표들의 강점과 약점을 규명하는 것.
• 이러한 지표들이 캡션 내 의미적 방해 요소에 대해 얼마나 탄력적인지 평가하는 것.
• 다양한 지표를 조합하면 개별 지표보다 평가 성능을 향상시킬 수 있는지 조사하는 것.
• 워드 무브 거리(WMD)가 n-그램 기반 및 의미 그래프 기반 지표들과 비교해 더 나은 성능을 보일 수 있는지 제안하는 것.

제안 방법

• 저자들은 플리커8K 및 MS COCO 데이터셋의 인간 주석 기반 캡션 점수를 사용하여, BLEU, ROUGE, METEOR, CIDEr, SPICE 및 WMD의 6개 지표를 종합적으로 평가한다.
• 자동 평가 지표 점수와 인간 평가 간의 스피어만 순위 상관관계를 계산하여 인간 선호도와의 일치도를 평가한다.
• 모든 지표 쌍 간의 통계적 유의성 차이를 확인하기 위해 윌리엄스 유의성 검정을 적용한다.
• 다섯 가지 유형의 방해 요소(교체-장면, 교체-사람, 공유-장면, 공유-사람)를 적용하여, 정확한 캡션과 방해된 캡션을 구별하는 데서 지표의 정확도를 평가한다.
• 동의어 교체 및 의미적 변형에 대한 민감도를 측정하여 탄력성을 테스트한다.
• WMD, SPICE 및 METEOR의 정규화된 점수를 조합하여 통합 지표를 만들고, 성능 향상 여부를 평가한다.

실험 결과

연구 질문

• RQ1 기존 자동 평가 지표들이 이미지 캡션에서 인간 평가와 얼마나 잘 상관되는가?
• RQ2 핵심 엔티티를 교체하거나 장면 요소를 공유하는 등의 의미적 방해 요소에 대해 어떤 지표가 가장 탄력적인가?
• RQ3 다른 지표 간 성능에 통계적으로 유의미한 차이가 있는가?
• RQ4 여러 지표의 조합이 개별 지표를 초월해 평가 성능을 향상시킬 수 있는가?
• RQ5 워드 무브 거리(WMD)는 워드 임베딩을 사용하므로, n-그램 기반 및 의미 그래프 기반 지표들보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• WMD는 인간 평가와 가장 높은 스피어만 상관관계를 보이며, 플리커8K에서 0.66, 복합 데이터셋에서 0.45를 기록하여 SPICE(0.64 및 0.42)를 포함한 개별 지표를 모두 앞서나간다.
• WMD는 모든 네 가지 유형의 방해 요소에 대해 정확한 캡션과 방해된 캡션을 식별하는 데 가장 우수하거나 두 번째로 높은 정확도를 보였다.
• SPICE에 비해 WMD는 동의어 교체나 의미적 변형에 대해 훨씬 덜 민감하며, 정확도와 방해 요소에 대한 탄력성 테스트에서 떨어지는 성능을 보였다.
• WMD + SPICE + METEOR의 조합은 통합 지표로써 플리커8K에서 스피어만 상관관계 0.66, 복합 데이터셋에서 0.45를 기록하였으며, 윌리엄스 검정에 의해 유의미하게 개별 지표를 뛰어넘었다(p < 0.01).
• METEOR와 CIDEr도 상관관계 및 탄력성에서 뛰어난 성능을 보였지만, WMD는 모든 평가 기준에서 일관되게 최상위를 차지했다.
• 연구 결과, 지표 간에 유의미하고 통계적으로 의미 있는 차이가 있음을 확인하였으며, 이는 현재의 지표들이 상호 교체 가능하지 않음을 시사하며, 향후 개선된 평가 프레임워크의 필요성을 강조한다.