[論文レビュー] Collecting Image Description Datasets using Crowdsourcing

Ramakrishna Vedantam, C. Lawrence Zitnick+1 more|arXiv (Cornell University)|Nov 12, 2014

Multimodal Machine Learning Applications参考文献 12被引用数 4

ひとこと要約

本論文は、アマゾン・メカニカル・トゥーカーを用いて収集された、1枚の画像あたり50件の人が書いたキャプションを含む2つの新しい画像説明データセット、ABSTRACT-50S および PASCAL-50S を紹介する。作業者に自由に記述するのではなく、重要なシーン要因を「記録」するように指示することで、従来の1枚あたり5件のキャプションしかないデータセットと比較して、より高品質で客観的で、かつ記述の多様性が著しく高い説明を実現した。

ABSTRACT

We describe our two new datasets with images described by humans. Both the datasets were collected using Amazon Mechanical Turk, a crowdsourcing platform. The two datasets contain significantly more descriptions per image than other existing datasets. One is based on a popular image description dataset called the UIUC Pascal Sentence Dataset, whereas the other is based on the Abstract Scenes dataset con- taining images made from clipart objects. In this paper we describe our interfaces, analyze some properties of and show example descriptions from our two datasets.

研究の動機と目的

• 1枚あたり複数のキャプションを持つ高品質で多様な画像説明データセットの不足に対処すること。
• 人間の画像記述におけるばらつきをよりよく捉えるために、1枚あたり多数の人が書いた客観的な記述を収集すること。
• 自由な記述のプロンプトではなく「記録」の指示を用いることで、画像記述の質と関連性を向上させること。
• 特にゼロショット学習や画像キャプションタスクにおいて、モデルの訓練および評価に適したゴールドスタンダードデータセットを構築すること。
• 実写の画像（PASCAL-50S）と抽象的でコマーシャル風の画像（ABSTRACT-50S）の両方を基にしたデータセットを提供し、より広範な研究応用を可能とすること。

提案手法

• アマゾン・メカニカル・トゥーカーを用いて、1枚の画像あたり50件の記述を、異なる資格を持つ作業者から収集。
• 作業者の質を保証するため、米国在住で、HIT承認率95％以上、承認件数500件以上の条件を課した。
• 作業者に「自由に記述する」のではなく、シーンの主要な側面を「記録する」ように指示することで、主観性や想像力を低減した。
• 類似した複数の画像を提示するインターフェースを設計し、記述の客観性、明確さ、認識可能性を強調した。
• 会話文、極端に詳細すぎる、文法的に誤りのある文など、除外基準を適用して除外した。
• 2つのデータセットを構築した：UIUC Pascal Sentence Dataset から得た実写画像を用いた PASCAL-50S と、合成された抽象的画像を用いた ABSTRACT-50S。

実験結果

リサーチクエスチョン

• RQ1 『記録』の指示を用いることで、画像キャプションの質と客観性は『記述』の指示と比較してどのように変化するか？
• RQ2 1枚あたり50件のキャプションを収集することで、画像記述の多様性と代表性はどの程度向上するか？
• RQ3 実写画像（PASCAL-50S）と抽象的画像（ABSTRACT-50S）の間で、キャプションの長さや言語的スタイルはどのように異なるか？
• RQ4 収集されたキャプションは、画像内の微細なオブジェクトの重要性や意味的差異をどの程度反映しているか？
• RQ5 これらのデータセットは、ゼロショット学習や画像キャプションなどの視覚言語タスクにおける性能向上を支援できるか？

主な発見

• PASCAL-50S データセットには1000枚の画像が含まれ、1枚あたり50件の人が書いたキャプションがあり、合計50,000件の記述が含まれる。
• ABSTRACT-50S データセットには500枚の抽象的画像が含まれ、1枚あたり50件のキャプションがあり、合計25,000件の記述が含まれる。
• PASCAL-50S の平均キャプション長は8.8語、ABSTRACT-50S は10.59語であり、抽象的画像ではより詳細な記述がなされていることが示された。
• 『記録』の指示を用いることで、自由記述タスクと比較して、記述の客観性と画像との関連性が著しく向上した。
• データセットは、同じ画像に対する多様な人間の認識を反映した、多様な記述スタイルや表現のバリエーションを示している。
• これらのデータセットは、視覚言語理解、ゼロショット学習、画像キャプションタスクにおけるモデルの訓練および評価に適している。