[論文レビュー] Quality Estimation for Image Captions Based on Large-scale Human Evaluations

Tomer Levinboim, Ashish Thapliyal+2 more|arXiv (Cornell University)|Sep 8, 2019

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、大規模な人間による評価を用いた画像キャプションの品質推定（QE）フレームワークを提案する。Open Images Datasetから抽出した約65,000組の画像-キャプションペアに対して約60万件の二値評価を収集した。このデータを用いてマルチモーダルモデルを学習させ、正解キャプションが存在しない状況でもキャプション品質を予測する。外部ドメインのデータにおいても高いAUC（0.84）を達成し、低品質なキャプションを効果的にフィルタリングできる。これは、一般化性能とアクセシビリティ向上への実用的価値を示している。

ABSTRACT

Automatic image captioning has improved significantly over the last few years, but the problem is far from being solved, with state of the art models still often producing low quality captions when used in the wild. In this paper, we focus on the task of Quality Estimation (QE) for image captions, which attempts to model the caption quality from a human perspective and without access to ground-truth references, so that it can be applied at prediction time to detect low-quality captions produced on previously unseen images. For this task, we develop a human evaluation process that collects coarse-grained caption annotations from crowdsourced users, which is then used to collect a large scale dataset spanning more than 600k caption quality ratings. We then carefully validate the quality of the collected ratings and establish baseline models for this new QE task. Finally, we further collect fine-grained caption quality annotations from trained raters, and use them to demonstrate that QE models trained over the coarse ratings can effectively detect and filter out low-quality image captions, thereby improving the user experience from captioning systems.

研究の動機と目的

• 正解キャプションが存在しない状況でも、粗い粒度のキャプション品質評価をスケーラブルに収集する人間評価プロセスの開発。
• 約60万件の二値人間評価を含む、大規模かつ公開可能なデータセット（Caption-Quality）の作成。
• 未観測の画像に一般化できる品質推定のためのベースラインモデルの確立。
• 粗い評価に基づいて学習したQEモデルが、細粒度の人間アノテーションを用いて低品質なキャプションを効果的に検出・フィルタリングできることの検証。
• QEモデルが実世界の展開において低品質なキャプションをフィルタリングすることで、ユーザーエクスペリエンスを向上させることの実用的価値の提示。

提案手法

• アノテーターが正解キャプションにアクセスせずに、画像の文脈に基づいてキャプションを「良い」または「悪い」と二値評価するクラウドソーシングパイプラインを設計。
• Open Images Datasetから、16,000枚のユニークな画像と55,000組のユニークな画像-キャプションペアを対象に、約60万件の二値品質評価を収集。
• 画像とキャプションの特徴を統合するためのバイリニア相互作用層を用いたマルチモーダルニューラルネットワークを訓練。
• Conceptual Captionsなどの大規模な画像-キャプションデータセットを用いて、マルチモーダル事前学習の目的関数を最適化することで、一般化性能を向上。
• 熟練アノテーターが提供した細粒度のアノテーションを含むホールドアウトデータセット上で、精度-再現率曲線とAUCスコアを用いてQEモデルの性能を評価。
• QEスコアにしきい値を適用して低品質なキャプションをフィルタリングし、エキスパートアノテーターによる正しさと有用性の多数決に基づいて評価。

実験結果

リサーチクエスチョン

• RQ1 正解キャプションが存在しない状況でも、スケーラブルな人間評価プロセスが一貫性があり信頼性の高い品質信号を収集できるか？
• RQ2 粗い二値評価に埋め込まれた品質信号は、ニューラルモデルによって学習可能であり、外部ドメインの画像に対しても一般化可能か？
• RQ3 粗い評価に基づいて学習したQEモデルは、細粒度の評価セットにおいて「正しいで役立つ」キャプションと「誤りまたは役立たず」のキャプションを効果的に区別できるか？
• RQ4 マルチモーダル事前学習は、このタスクにおける品質推定モデルの性能をどのように向上させるか？
• RQ5 QEモデルは、低品質な出力をフィルタリングすることで、どれほど実世界のキャプション生成システムの性能を向上させられるか？

主な発見

• Caption-Qualityデータセットには、安定的かつ一貫性のある信号が含まれており、スケーラブルなクラウドソーシングプロセスにより、約65,000組の画像-キャプションペアに対して約60万件の人間評価が収集された。
• 最高性能を示したQEモデルは、開発セットでスピアマン相関係数0.72、テストセットで0.70を達成し、画像-テキスト類似度ベースラインを顕著に上回った。
• 大規模な画像-キャプションデータで事前学習することで、QEモデルの性能が向上し、微調整済みモデルは外部評価セットでAUC 0.84を達成した。
• 事前学習済みで微調整されたバイリニアモデルは、再現率0.71で精度0.8を達成し、画像-テキスト類似度ベースラインと比較してカバレッジが3.4倍向上した。
• 粗い評価に基づいて学習したQEモデルは、訓練時に細粒度のアノテーションに触れたことのない外部ドメインの画像に対しても、低品質なキャプションを効果的に一般化してフィルタリングできた。
• このデータセットは、キャプションの再ランク付けや強化学習ベースのキャプション生成といった、有効な下流応用を可能にし、外部評価での有効性が実証された。