[論文レビュー] The Met Dataset: Instance-level Recognition for Artworks

Nikolaos-Antonios Ypsilantis, Noa García+4 more|arXiv (Cornell University)|Feb 3, 2022

Generative Adversarial Networks and Image Synthesis被引用数 15

ひとこと要約

本論文は、The Metropolitan Museum of Artの40万枚のスタジオ環境下での撮影画像と、分布シフトを示す1,100枚の訪問者撮影テスト画像を用いた、アート作品におけるインスタンスレベル認識のための大規模かつクリーンなベンチマーク、The Met Datasetを紹介する。自己教師ありと教師ありの対照的学習を組み合わせ、kNN分類器を用いることで、特に長尾クラスにおいて最先端の性能を達成しており、オープンセット、インスタンスレベル認識において非パrametric分類が有望なアプローチであることが示された。

ABSTRACT

This work introduces a dataset for large-scale instance-level recognition in the domain of artworks. The proposed benchmark exhibits a number of different challenges such as large inter-class similarity, long tail distribution, and many classes. We rely on the open access collection of The Met museum to form a large training set of about 224k classes, where each class corresponds to a museum exhibit with photos taken under studio conditions. Testing is primarily performed on photos taken by museum guests depicting exhibits, which introduces a distribution shift between training and testing. Testing is additionally performed on a set of images not related to Met exhibits making the task resemble an out-of-distribution detection problem. The proposed benchmark follows the paradigm of other recent datasets for instance-level recognition on different domains to encourage research on domain independent approaches. A number of suitable approaches are evaluated to offer a testbed for future comparisons. Self-supervised and supervised contrastive learning are effectively combined to train the backbone which is used for non-parametric classification that is shown as a promising direction. Dataset webpage: http://cmp.felk.cvut.cz/met/

研究の動機と目的

• アート分野におけるインスタンスレベル認識（ILR）のための大規模かつクリーンなデータセットの不足に対処すること。
• 分布シフト、長尾クラスの分布、高いクラス間類似度といった現実世界の課題を反映するベンチマークを構築すること。
• 訪問者撮影画像と分布外（OOD）画像を含む、現実的で実用的なテストベッドを提供することで、ドメイン一般化型オープンセットILRの研究を支援すること。
• 細分化された認識タスクであるアート分野における自己教師ありおよび対照的学習手法の有効性を評価すること。

提案手法

• データセットはThe Metのオープンアクセスコレクションから構築され、22万4千個の固有のアート作品クラスをカバーする約40万枚のトレーニング画像が含まれる。各画像はスタジオ環境下で撮影されたものである。
• テストセットには1,100枚の訪問者撮影画像（分布シフト）と、The Metとは関係のない多数の分布外（OOD）画像が含まれる。
• SimSiamおよびCon-Synを用いた対照的学習フレームワークが適用され、特徴の識別能を向上させるために、実際の正例ペア（Real-closest）の追加が行われた。
• バックボーンは、合成および実際の正例ペアの両方を用いた対照的損失により微調整され、学習された特徴上でのk-Nearest Neighbors（kNN）分類により性能が評価された。
• パrametric分類器と非パrametricなkNN分類器の比較が行われ、kNNが特に少サンプルクラスにおいて優れた性能を示した。
• 自己教師あり事前学習（例：SimSiam）と教師あり対照的学習を組み合わせることで、長尾データに対して一般化性能と耐障害性が向上した。

実験結果

リサーチクエスチョン

• RQ1 長尾クラスと高いクラス間類似度を示すアート作品におけるインスタンスレベル認識タスクにおいて、自己教師ありおよび対照的学習手法はどの程度有効であるか？
• RQ2 アートデータにおいて、長尾クラスとオープンセットILRの状況下で、非パrametricなkNN分類器はパrametric分類器を上回る性能を発揮できるか？
• RQ3 スタジオ環境と実世界の画像間の分布シフトがモデルの一般化性能に与える影響は何か？また、これを緩和する訓練戦略は何か？
• RQ4 対照的学習において、実際の正例ペア（Real-closest）を合成正例と比較して使用した場合の影響は何か？
• RQ5 The Met Dataset上で微調整を行うことで、ImageNetやSWSL事前学習に比べて、性能がどの程度向上するか？

主な発見

• R18IN Con-Syn+Real-closestモデルは、テストセットで55.0%のトップ1正答率を達成し、ベースラインのR18INモデルと比較して7.5%の向上を示した。
• kNN分類器はパrametric分類器を上回り、1つのトレーニング例しか持たないクラスでは相対的な正答率向上が最大50%に達した。
• SimSiamを用いた自己教師あり事前学習は、追加の教師信号なしでもImageNetベースラインを上回る性能を示した。
• 対照的学習に実際の正例ペア（Real-closest）を組み込むことで、特に他の実際の正例から明確に区別できる場合に性能が顕著に向上した。
• Con-Syn+Real-closestアプローチは、全評価手法の中で最高の性能（トップ1正答率55.0%）を達成し、合成正例と実際の正例を組み合わせることの利点を示した。
• 性能向上は特に少サンプルクラスで顕著であり、対照的に学習された特徴とkNNを組み合わせたアプローチが、長尾ILRに対して極めて有効であることが確認された。