[論文レビュー] CIDEr: Consensus-based Image Description Evaluation

Ramakrishna Vedantam, C. Lawrence Zitnick+1 more|arXiv (Cornell University)|Nov 20, 2014

Multimodal Machine Learning Applications参考文献 39被引用数 61

ひとこと要約

本論文では、画像の説明文生成のためのコンSENSUSベースの評価指標CIDErを提案する。この指標は、画像に対して複数の人が付与した説明文の大多数とどれだけ類似しているかを測定する。三つ組みベースの人的アノテーションプロトコルと、新しいn-gram共起度測定法を用いることで、CIDErは人間の判断との相関が高く（0.98）、BLEU や ROUGE といった既存の指標を上回り、現在はMS COCO評価サーバーにCIDEr-Dとして統合されている。

ABSTRACT

Automatically describing an image with a sentence is a long-standing challenge in computer vision and natural language processing. Due to recent progress in object detection, attribute classification, action recognition, etc., there is renewed interest in this area. However, evaluating the quality of descriptions has proven to be challenging. We propose a novel paradigm for evaluating image descriptions that uses human consensus. This paradigm consists of three main parts: a new triplet-based method of collecting human annotations to measure consensus, a new automated metric (CIDEr) that captures consensus, and two new datasets: PASCAL-50S and ABSTRACT-50S that contain 50 sentences describing each image. Our simple metric captures human judgment of consensus better than existing metrics across sentences generated by various sources. We also evaluate five state-of-the-art image description approaches using this new protocol and provide a benchmark for future comparisons. A version of CIDEr named CIDEr-D is available as a part of MS COCO evaluation server to enable systematic evaluation and benchmarking.

研究の動機と目的

• 画像説明の品質を評価する課題に取り組み、信頼性の高いコンセンサスに基づく基準を確立すること。
• BLEU や ROUGE といった既存の指標が人間の判断と弱い相関を示すという限界を克服すること。
• 多数の人が作成した説明文との類似度を捉えることで、「人間らしさ」を直接測定する新しい評価プロトコルを提案すること。
• PASCAL-50S と ABSTRACT-50S の2つの新しいデータセットを用いて、将来の画像キャプションモデルのベンチマークを提供すること。各データセットには1枚の画像に対して50個の参照文が含まれる。
• MS COCO評価サーバーにCIDEr-Dを統合することで、体系的かつ再現可能な評価を可能にすること。

提案手法

• コンセンサスを測定するために三つ組みベースの人的アノテーションプロトコルを用い、アノテーターは2つの候補文のうち、基準文とより類似している方を選び、2AFC（二択強制選択）タスクとしてモデル化する。
• CIDEr指標は、候補文と複数の参照文間のn-gram共起度を測定することで文の類似度を算出し、n-gram Fスコアの正規化された重み付き和を用いる。
• 文の長さの差にガウス分布のペナルティを適用することで、長すぎるまたは短すぎる文へのバイアスを低減し、より頑健な性能を実現する。
• CIDEr-Dは、洗練されたバージョンであり、ステミングを除去し、長さペナルティを適用し、n-gramカウントをクリッピングすることで、高信頼度の語の繰り返しによるスキームの回避を可能にする。
• n-gram（n=1からN）に均等な重みを設定し、スコアを正規化することで、他の指標との数値的一致性を保証する。
• 評価フレームワークは、PASCAL-50S と ABSTRACT-50S の2つの新しいデータセットを用い、それぞれ1枚の画像に対して50件の人が書いた説明文を含む。これにより、コンセンサスの正確な測定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 自動化された指標は、画像説明評価における人間のコンセンサスをどの程度正確に捉えることができるか？
• RQ2 参照文の数を5から50に増やすことで、自動評価指標の信頼性が向上するか？
• RQ3 コンセンサスベースの指標は、BLEU や ROUGE、METEOR といった既存の指標よりも人間の判断との相関が高くなるか？
• RQ4 モデル出力が指標の弱みを悪用する「ゲーム化」をCIDEr指標はどの程度耐えられるか？
• RQ5 CIDEr-Dの性能は、人間の性能と比べてコンセンサスを予測する際にどの程度優れているか？

主な発見

• CIDErは、スコアと人間によるコンセンサス判断との間にピアソン相関係数0.98を達成し、既存の指標を著しく上回っている。
• BLEU や CIDEr を含む多くの指標は、参照文の数が増えるほど性能が向上し、50文の参照文がコンセンサスの安定的推定を提供することが分かった。
• 洗練されたバージョンであるCIDEr-Dは、元のCIDErとのスピアマン順位相関係数0.94を達成している一方で、ゲーム戦略への耐性が向上している。
• PASCAL-50Sデータセットでは、CIDEr-Dはコンセンサス予測の正確度が82%であったが、人間アノテーターは90%の正確度を示した。
• ABSTRACT-50Sデータセットでは、CIDEr-Dは82%の正確度、人間の性能は83%であった。これにより、自動指標が人間レベルの一貫性に近づいていることが示された。
• CIDEr-Dは現在、MS COCO評価サーバーで利用可能となっており、画像キャプションモデルの標準化されたベンチマークが可能になった。