[論文レビュー] Re-evaluating Automatic Metrics for Image Captioning

Mert Kilickaya, Aykut Erdem+2 more|arXiv (Cornell University)|Dec 22, 2016

Multimodal Machine Learning Applications参考文献 33被引用数 14

ひとこと要約

本稿は、人間の評価、無関係なキャプションに対する精度、および頑健性テストを用いて、BLEU、ROUGE、METEOR、CIDEr、SPICE、およびワードムーバーズディスタンス（WMD）を比較することで、画像キャプションの自動評価指標を再評価している。WMDは、word2vec埋め込みを用いて意味的類似度を計算するが、人間のスコアとの相関、無関係な要因への頑健性、正しいキャプションの特定精度において他の指標を上回り、画像キャプション評価の優れた指標であると示唆している。

ABSTRACT

The task of generating natural language descriptions from images has received a lot of attention in recent years. Consequently, it is becoming increasingly important to evaluate such image captioning approaches in an automatic manner. In this paper, we provide an in-depth evaluation of the existing image captioning metrics through a series of carefully designed experiments. Moreover, we explore the utilization of the recently proposed Word Mover's Distance (WMD) document metric for the purpose of image captioning. Our findings outline the differences and/or similarities between metrics and their relative robustness by means of extensive correlation, accuracy and distraction based evaluations. Our results also demonstrate that WMD provides strong advantages over other metrics.

研究の動機と目的

• 画像キャプションの既存の自動評価指標が人間の判断をどれほど再現できるかを評価すること。
• BLEU、ROUGE、METEOR、CIDEr、SPICE、WMDといった広く使われている指標の強みと弱みを特定すること。
• これらの指標がキャプション内の意味的干渉要因に対してどれほど頑健であるかを評価すること。
• 複数の指標を組み合わせることで評価性能が向上するかを調査すること。
• WMDがn-gramや意味グラフベースの指標と比較して優れた性能を示すかを提案すること。

提案手法

• 著者らは、Flickr8kおよびMS COCOデータセットのヒューマンアノテートキャプションスコアを用いて、6つの指標（BLEU、ROUGE、METEOR、CIDEr、SPICE、WMD）の包括的評価を実施した。
• 人間の判断との整合性を評価するため、自動指標スコアと人間の評価との間でスピアマンの順位相関を計算した。
• 指標同士の差が統計的に有意かどうかを特定するため、ウィリアムズの有意差検定を適用した。
• 4種類の干渉タイプ（Replace-Scene、Replace-Person、Share-Scene、Share-Person）を用いて、正しいキャプションと干渉のあるキャプションを区別する能力を評価した。
• 語の同義語置換や意味的摂動に対する感受性を測定することで、頑健性をテストした。
• WMD、SPICE、METEORの正規化スコアを統合し、統合指標としての性能向上を評価した。

実験結果

リサーチクエスチョン

• RQ1 既存の自動評価指標は、画像キャプションにおいて人間の判断とどの程度相関しているか？
• RQ2 キーエンティティの置換やシーン要因の共有といった意味的干渉に対して、どの指標が最も頑健か？
• RQ3 異なる指標の性能に統計的に有意な差があるか？
• RQ4 複数の指標を組み合わせることで、個々の指標を上回る評価性能が得られるか？
• RQ5 ワードムーバーズディスタンス（WMD）は、n-gramや意味グラフベースの指標と比較して優れた性能を示すか？

主な発見

• WMDは人間の判断とのスピアマン相関が最も高く、Flickr8kでは0.66、合成データセットでは0.45を記録し、SPICE（0.64および0.42）を上回った。
• WMDは、正しいキャプションと干渉のあるキャプションを区別する能力が最も優れており、4種類の干渉タイプすべてで最良または第2位の精度を達成した。
• WMDは、同義語置換や意味的摂動に対してSPICEよりも顕著に感受性が低く、精度および干渉に対する頑健性テストで優れた性能を示した。
• WMD + SPICE + METEORの統合指標は、Flickr8kでスピアマン相関0.66、合成データセットで0.45を記録し、個々の指標を有意に上回った（ウィリアムズ検定によるp < 0.01）。
• METEORおよびCIDErも相関性と頑健性において優れた性能を示したが、WMDはすべての評価基準で一貫して最高の順位を記録した。
• 本研究は、指標間に顕著で統計的に有意な差が存在することを明らかにした。これは、現在の指標が相互に交換可能ではなく、より良い評価フレームワークの必要性を示唆している。