[論文レビュー] The iMet Collection 2019 Challenge Dataset

Chenyang Zhang, Christine Kaeser‐Chen+4 more|arXiv (Cornell University)|Jun 3, 2019

Advanced Image and Video Retrieval Techniques参考文献 8被引用数 12

ひとこと要約

本論文は、ニューヨーク大都会美術館のオーディエンス・アセスメント・コレクションから収集された155,531枚のプロフェッショナルな写真から成る大規模かつ研究用に適したデータセット、iMet Collection 2019 Challenge Datasetを紹介する。このデータセットは、美術館の専門家とプロフェッショナルなベンダーアノテーターが、1,103の細分化された属性でアノテートしている。このデータセットは、長尾分布と画像ごとの属性数のばらつきを伴うマルチラベル細分化視覚認識を支援し、Kaggleを活用したFGVC6コンペティションで実施され、自動アノテーションとデジタルキュレイションの発展を促進した。

ABSTRACT

Existing computer vision technologies in artwork recognition focus mainly on instance retrieval or coarse-grained attribute classification. In this work, we present a novel dataset for fine-grained artwork attribute recognition. The images in the dataset are professional photographs of classic artworks from the Metropolitan Museum of Art, and annotations are curated and verified by world-class museum experts. In addition, we also present the iMet Collection 2019 Challenge as part of the FGVC6 workshop. Through the competition, we aim to spur the enthusiasm of the fine-grained visual recognition research community and advance the state-of-the-art in digital curation of museum collections.

研究の動機と目的

• 芸術作品認識データセットにおける高品質で細分化された属性アノテーションの不足に対処すること。
• プロフェッショナルな博物館の芸術作品画像を用いた細分化視覚分類（FGVC）研究を支援すること。
• 大規模かつ専門家による検証済みのデータセットを通じて、文化的遺産コレクションの自動アノテーションを可能にすること。
• コンピュータビジョン技術を活用した博物館コレクションのデジタルキュレイションを前進させること。
• Kaggleコンペティションを通じて、マルチラベル芸術作品属性認識のベンチマークを確立すること。

提案手法

• データセットは、The Metのオープンアクセス・コレクションから抽出された155,531枚の画像から構成され、すべての画像が最短辺300pxにリサイズされ、PNG形式で保存されている。
• アノテーションは2つの検証済みソースから得られた：分野の専門家（SMEs）と、事前に定義された分類体系を用いたプロフェッショナルなベンダーアノテーター。
• ピボットラベルを用いて3分割（トレーニング：109,274；バリデーション：7,443；テスト：38,814）が作成され、各分割間でのラベルの一貫性が保証された。
• ピボットラベルのインスタンス数が3未塔のサンプルは除外され、すべての分割に存在しないラベルは削除された。
• 評価指標として、マルチラベル分類において再現率を重視するため、β=2のFβスコアが使用された。
• コンペティションはKaggle上でキーナールオンative形式のコンテストとして開催され、モデルのオープンソース化が義務付けられ、計算リソースの制限が設けられ、公平性と透明性を促進した。

実験結果

リサーチクエスチョン

• RQ1 文化的遺産コレクションの文脈において、細分化された属性認識をどのように前進させることができるか？
• RQ2 専門家がキュレートした研究用に適したアノテーションが、マルチラベル芸術作品分類のパフォーマンスに与える影響は何か？
• RQ3 長尾分布と画像ごとの属性数のばらつきが、芸術作品認識におけるモデルの汎化性能に与える影響は何か？
• RQ4 Kaggleベースのキーナールオンリーなコンペティションモデルは、リソースアクセスの公平性を確保しつつ、自動芸術作品アノテーション分野におけるイノベーションを効果的に促進できるか？
• RQ5 高品質で多様な属性を備えたデータセットが、博物館コレクションのデジタルキュレイションの発展に果たす役割は何か？

主な発見

• iMet Collection 2019データセットには、1,103の異なる属性でアノテートされた155,531枚の画像が含まれており、最も頻出するラベルは「Men」（トレーニングサンプル19,974件）、「Women」（14,283件）、および「French」（13,549件）である。
• このデータセットは長尾分布を示しており、最も頻度が低い属性「Afgan」はトレーニングデータにたった1件のサンプルしか存在しない。
• 画像1枚あたりの属性数は1～11にまで達し、大多数のサンプルは2～4つの属性を有しており、1つのサンプルは11つの属性を有している。
• コンペティションには435チームから500人以上の参加者が参加し、パブリック・リーダーボードで成績が追跡され、モデルのオープンソース化が義務付けられた。
• このデータセットは、Kaggle上で初のキーナールオンリーなコンピュータビジョンコンペティションとして使用され、アルゴリズムの透明性とリソースの公平性を促進した。
• 著者らは、今後、素材やサイズなどの追加の意味的グループをデータセットに追加し、インスタンス検出、セグメンテーション、キャプション生成などの将来的なタスクを支援することを計画している。