[論文レビュー] ECCV Caption: Correcting False Negatives by Collecting Machine-and-Human-verified Image-Caption Associations for MS-COCO

Sanghyuk Chun, Wonjae Kim+3 more|arXiv (Cornell University)|Apr 7, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、マシンと人間による検証を組み合わせたマシンインザループ（MITL）アノテーションパイプラインを用い、MS-COCOにおける誤ったネガティブ例（false negatives）を是正するECCV Captionデータセットを紹介する。このデータセットは、5種類の多様なITMモデルを用いて機械的選定を行い、人間による検証を経て構築されたもので、MS-COCOに比べて画像からキャプションへの正例が3.6倍、キャプションから画像への正例が8.5倍増加している。著者らは、mAP@RをRecall@Kよりもより情報量が多い評価指標として提唱し、新しいベンチマークを用いることでモデルランク付けの順位が顕著に変化することが明らかになった。

ABSTRACT

Image-Text matching (ITM) is a common task for evaluating the quality of Vision and Language (VL) models. However, existing ITM benchmarks have a significant limitation. They have many missing correspondences, originating from the data construction process itself. For example, a caption is only matched with one image although the caption can be matched with other similar images and vice versa. To correct the massive false negatives, we construct the Extended COCO Validation (ECCV) Caption dataset by supplying the missing associations with machine and human annotators. We employ five state-of-the-art ITM models with diverse properties for our annotation process. Our dataset provides x3.6 positive image-to-caption associations and x8.5 caption-to-image associations compared to the original MS-COCO. We also propose to use an informative ranking-based metric mAP@R, rather than the popular Recall@K (R@K). We re-evaluate the existing 25 VL models on existing and proposed benchmarks. Our findings are that the existing benchmarks, such as COCO 1K R@K, COCO 5K R@K, CxC R@1 are highly correlated with each other, while the rankings change when we shift to the ECCV mAP@R. Lastly, we delve into the effect of the bias introduced by the choice of machine annotator. Source code and dataset are available at https://github.com/naver-ai/eccv-caption

研究の動機と目的

• MS-COCOのような既存のビジョン・ランゲージ（VL）ベンチマークにおいて、複数の有効な関連付けがあるにもかかわらず1つの画像・キャプションペアしか正例としてラベル付けされていないという、広範にわたる誤ったネガティブ例の問題に対処すること。
• より包括的かつ正確なベンチマークを構築することで、VLモデルの評価の公平性と情報量を向上させ、正例対応の拡張を実現すること。
• MITLアノテーションプロセスにおけるマシンアノテーターが引き起こすバイアスを特定し、複数モデルの選択戦略によってこれを軽減する手法を提案すること。
• 誤ったネガティブ例が是正された状況において、Recall@Kに比べて順位ベースの指標（mAP@R）の方がより信頼性が高く、情報量が多いことを示すこと。

提案手法

• 著者らは、CLIP、ViLT、VSRN、PVSE、PCMEの5つの最先端のITMモデルを用いたマシンインザループ（MITL）アノテーションパイプラインを採用し、人間による検証を受ける候補ペアを事前に選定することで、アノテーション負荷を760億ペアから約130万ペアに削減した。
• 人間のアノテーターが機械で選定されたペアの関連性を検証し、高品質なラベル付けを維持しながらもスケーラビリティを確保した。
• 最終的なECCV Captionデータセットには、1,261の画像クエリが含まれ、1クエリあたり平均17.9個の正例キャプション（MS-COCOの5に比べ）と、1,332のキャプションクエリが含まれ、1クエリあたり平均8.5個の正例画像（MS-COCOの1に比べ）を有する。
• 著者らは、順位の質をよりよく捉え、ノイズや部分的に正しいとされるアノテーションに対してより頑健であるため、mAP@RをRecall@Kよりも優れた評価指標として提唱した。
• モデルバイアスを評価するため、モデルのスコアがMITLモデルのサブセットと、全モデルの複数モデルリファレンスデータセットとの間で平均してどれほど異なるかを測る指標$\mathcal{B}_{\Theta}$を定義した。
• 自己バイアスと非自己バイアスを分析し、MITLプロセスで単一のモデルを使用すると高いバイアスが生じる一方で、複数モデルを用いることで全体のバイアスが低下し、公平性が向上することを示した。

実験結果

リサーチクエスチョン

• RQ1 人間による検証と機械による提案を組み合わせた画像・キャプション関連付けを用いて、MS-COCOにおける誤ったネガティブ例を是正することで、ビジョン・ランゲージモデルの評価にどのような影響を与えるか？
• RQ2 異なるマシンアノテーターがMITLアノテーションプロセスにどれほどバイアスをもたらすか、そしてそのバイアスはどのように定量化され、軽減できるか？
• RQ3 誤った正例が是正された状況において、mAP@Rを評価指標として用いることで、Recall@Kに比べてより信頼性が高く情報量が多いモデルランク付けが得られるか？
• RQ4 MITLパイプラインにおけるベースとなるマシンアノテーターを変更することで、VLモデルのランク付けが任意に変化する可能性があるか？ これはベンチマークの公平性にどのような含意をもたらすか？
• RQ5 MITLプロセスで使用するマシンアノテーターの数が、結果として得られるデータセットのバイアスと信頼性にどのように影響するか？

主な発見

• ECCV Captionデータセットは、元のMS-COCOデータセットに比べて、画像からキャプションへの正例が3.6倍、キャプションから画像への正例が8.5倍増加している。
• 新しいmAP@R指標で評価した場合、25の事前学習済みVLモデルのランク付けが、従来のRecall@Kとは顕著に変化しており、これは従来のベンチマークが真のモデル性能の差を隠蔽していた可能性を示唆している。
• MITLパイプラインで単一のマシンアノテーターを使用すると、顕著なバイアスが生じる（モデルバイアス$\mathcal{B}_{\Theta}$が最大9.5に達する）が、複数モデルを用いることでこのバイアスが低減され、モデル数を増やすほど一般バイアスが減少する。
• 個々のモデルの自己バイアスは低く（例：PVSEでは0.1）、しかし非自己バイアスは顕著に高い（例：PVSEでは11.8）ため、モデルの性能はMITLパイプライン内の他のモデルの選択に強く影響を受けることが示された。
• 誤ったオブジェクト、色、数え上げの誤りなどのノイズのあるアノテーションが一部存在するが、mAP@RはRecall@Kよりも頑健である。これは、正例の数を数えるのではなく順位の質を考慮するため、誤った正例の影響を軽減できるからである。
• 本研究は、マシンアノテーターの選択がデータセット品質とモデル評価に顕著に影響することを示し、バイアスを最小限に抑えるために複数モデルを用いたMITL戦略が、公平なベンチマーク評価のためには不可欠であることを示した。