[論文レビュー] Microsoft COCO Captions: Data Collection and Evaluation Server

Xinlei Chen, Hao Fang+5 more|arXiv (Cornell University)|Apr 1, 2015

Multimodal Machine Learning Applications参考文献 47被引用数 1,628

ひとこと要約

本論文は、33万枚の画像に対して150万件以上の人が手作業で付与したキャプションを含むMicrosoft COCOキャプションデータセットと、BLEU、METEOR、ROUGE、CIDERのメトリクスを用いて自動キャプションモデルを評価する標準化された評価サーバーを紹介する。主な貢献は、人間が作成した参照キャプションとオンラインサーバーを備えた一貫性がありスケーラブルな評価フレームワークであり、トレーニング、バリデーション、テストセットにおける画像キャプションアルゴリズムの公平で再現可能なかぎりのベンチマーク評価を可能にする。

ABSTRACT

In this paper we describe the Microsoft COCO Caption dataset and evaluation server. When completed, the dataset will contain over one and a half million captions describing over 330,000 images. For the training and validation images, five independent human generated captions will be provided. To ensure consistency in evaluation of automatic caption generation algorithms, an evaluation server is used. The evaluation server receives candidate captions and scores them using several popular metrics, including BLEU, METEOR, ROUGE and CIDEr. Instructions for using the evaluation server are provided.

研究の動機と目的

• 画像キャプションモデルの学習と評価のための大規模で人間が作成したキャプションデータセットを構築すること。
• 自動評価における一貫性の欠如を是正するため、一元化され標準化された評価サーバーを提供し、一貫したメトリクス実装を確保すること。
• 特に1枚の画像に対して40件の参照キャプションを持つc40サブセットを用いることで、自動メトリクスと人間の判断との相関を向上させること。
• 公開された参照キャプションとは分離されたテストセット評価を可能にすることで、モデルの過学習リスクを低減し、キャプション生成モデルの公平な比較を可能にすること。
• 将来的な人間評価研究を支援し、自動メトリクスの妥当性を人間の判断と照合・改善すること。

提案手法

• 標準化された指示に従ってAmazon Mechanical Turkを用いたデータ収集により、記述的で文脈的に関連性のあるキャプション（8語以上、代名詞や過去・未来の時制を含まない）を確保する。
• MS COCO c5（1枚の画像あたり5件の参照キャプション）とMS COCO c40（5,000枚のテスト画像に40件の参照キャプション）の2つのデータセットを作成し、人間の判断との相関を向上させる。
• CodaLabにホスティングされた一元化された評価サーバーを実装し、提出された候補キャプションに対してBLEU-1からBLEU-4、METEOR、ROUGE-L、CIDEr-Dスコアを計算する。
• 候補キャプションと参照キャプションの両方のトークン化および前処理に、Stanford PTBTokenizerを用いて一貫性を確保する。
• 人間のキャプション作成行動をモデル化し、語の使用確率（p）と固定リCALLを推定する確率的フレームワークを導入することで、異なる数の参照キャプションにおける精度-リCALLダイナミクスの分析を可能にする。
• 人間のキャプション作成行動をモデル化し、語の使用確率（p）と固定リCALLを推定する確率的フレームワークを導入することで、異なる数の参照キャプションにおける精度-リCALLダイナミクスの分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 人間のアノテーターを用いて、大規模かつ多様性に富み、一貫性のある画像キャプションデータセットをどのようにスケーラブルに収集できるか？
• RQ2 自動評価メトリクスと人間の判断との相関度はどの程度であり、どのようにしてこれを向上させられるか？
• RQ3 1枚の画像あたりの参照キャプション数を増やすことで、自動評価メトリクスの信頼性と公平性にどのような影響を与えるか？
• RQ4 標準化され一元化された評価サーバーは、画像キャプションモデルのベンチマーク評価におけるばらつきと過学習をどの程度低減できるか？
• RQ5 Precision at Human Recall（PHR）のような新しいメトリクスは、人間のキャプション作成行動と比較して、システムのパフォーマンスをよりよく反映できるか？

主な発見

• 最終的なデータセットには、33万枚の画像に合計1,026,459件のキャプションが含まれており、c5では1枚あたり5件、c40では1枚あたり40件の参照キャプションが、厳密なアノテーションガイドラインに従ってMechanical Turkで収集された。
• 評価サーバーは、提出された候補キャプションに対して複数の標準メトリクス（BLEU、METEOR、ROUGE、CIDEr）を計算し、一貫性があり再現可能なベンチマーク評価を可能にする。
• 1枚あたり40件の参照キャプション（c40）を用いることで、自動メトリクスと人間の判断との相関が、5件のみを用いる場合に比べ顕著に向上した。
• 参照キャプション数が少ないほど人間の合意精度は低下するが、リCALLは一定のままであるため、人間の行動を推定するための固定リCALLモデルの妥当性が裏付けられた。
• 提案されたPHRメトリクスは、固定リCALLにおける人間の精度と強く一致し、標準メトリクスのみに依存するよりも、システムパフォーマンスのベンチマークに信頼性が高まる。
• モデルは、アノテーター数が増加するにつれて人間の精度が1.0に近づくと予測しており、十分なアノテーションがあれば、目に見える物体の語の使用が極めて一貫的になることを確認した。