[論文レビュー] Meta-Album: Multi-domain Meta-Dataset for Few-Shot Image Classification

Ihsan Ullah, Dustin Carrión-Ojeda+8 more|arXiv (Cornell University)|Feb 16, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

Meta-Album は、生態学、製造業、光学文字認識など 10 領域にまたがる 40 の多様なデータセットを含む大規模かつマルチドメインのメタデータセットを提供し、少サンプル画像分類に適したものである。各データセットには少なくとも 20 クラス、クラスあたり 40 枚の画像が含まれており、Micro、Mini、Extended の 3 つのスケーラブルなバージョンが用意されており、一貫したフォーマット、確認済みのライセンス、コミュニティによる拡張性を備え、異種のドメインにまたがるメタラーニングおよび転移学習アルゴリズムの現実的なベンチマークを可能にする。

ABSTRACT

We introduce Meta-Album, an image classification meta-dataset designed to facilitate few-shot learning, transfer learning, meta-learning, among other tasks. It includes 40 open datasets, each having at least 20 classes with 40 examples per class, with verified licences. They stem from diverse domains, such as ecology (fauna and flora), manufacturing (textures, vehicles), human actions, and optical character recognition, featuring various image scales (microscopic, human scales, remote sensing). All datasets are preprocessed, annotated, and formatted uniformly, and come in 3 versions (Micro $\subset$ Mini $\subset$ Extended) to match users' computational resources. We showcase the utility of the first 30 datasets on few-shot learning problems. The other 10 will be released shortly after. Meta-Album is already more diverse and larger (in number of datasets) than similar efforts, and we are committed to keep enlarging it via a series of competitions. As competitions terminate, their test data are released, thus creating a rolling benchmark, available through OpenML.org. Our website https://meta-album.github.io/ contains the source code of challenge winning methods, baseline methods, data loaders, and instructions for contributing either new datasets or algorithms to our expandable meta-dataset.

研究の動機と目的

• 少サンプル学習のための多様で現実的かつ計算的に実行可能なメタデータセットの不足に対処すること。
• 実世界の分布シフトを反映するクロスドメイン設定におけるメタラーニングアルゴリズムのベンチマークを可能にすること。
• 軽量、中規模、大規模の実験に対応するスケーラブルで拡張可能なメタデータセットを構築すること。
• コンペティションやオープンなデータセット・アルゴリズムの貢献を通じたコミュニティ主導の拡張を促進すること。
• OpenML.org でリリースされたコンペティションのテストセットを通じてローリングベンチマークを提供し、長期的な有用性と再現可能性を確保すること。

提案手法

• 10 の異なるドメイン（動物・植物・テクスチャ・車両・OCR など）から、事前に処理済みでアノテーション済みかつ一貫したフォーマットで整えられた 40 の画像分類データセットを統合する。
• 少なくとも 20 クラスとクラスあたり 40 枚の画像を持つようにデータセットをキュレートし、少サンプル学習に十分なデータを確保するとともに、スケールとモダリティの多様性を維持する。
• 計算リソースに応じて利用可能な 3 バージョン（Micro、Mini、Extended）を提供し、データ量とカバレッジを段階的に増加させる。
• すべてのデータセットは学術的利用を目的としたライセンスを備えており、プロジェクトウェブサイトおよび OpenML.org で確認済みのオープンライセンスとメタデータを提供する。
• データフォーマット、検証、レビューのためのコードを含むコミュニティ貢献パイプラインを整備し、品質と一貫性を確保する。
• NeurIPS 2021 および 2022 のコンペティションフレームワークに統合され、コンペティション終了後にテストセットが OpenML.org にリリースされ、継続的かつ進化するローリングベンチマークを形成する。

実験結果

リサーチクエスチョン

• RQ1 マルチドメインのメタデータセットは、単一ドメインのベンチマークにとどまらず、少サンプル学習アルゴリズムの汎化評価を向上させることができるか？
• RQ2 多様なドメインとクラス階層の組み合わせが、メタラーニングモデルの性能と頑健性に与える影響はどの程度か？
• RQ3 コミュニティ主導で拡張可能なメタデータセットは、メタラーニング研究における長期的なベンチマークの有用性をどの程度維持できるか？
• RQ4 ドメイン間で一貫した事前処理済みデータが利用可能であることで、少サンプル学習分野における新規研究者の参入障壁は低下するか？
• RQ5 異なるデータスケール（Micro、Mini、Extended）が、メタラーニングモデルの性能と学習効率に与える影響はどの程度か？

主な発見

• Meta-Album には 10 領域にまたがる 40 の画像分類データセットが含まれており、うち 30 個は即時利用可能、残りの 10 個は 2023 年春にリリースされ、従来のメタデータセットよりも広範かつ多様なコレクションを提供する。
• Micro バージョンは 40 データセットにわたる 32,000 枚の画像を含み、1 ドメインあたり 19〜20 クラス、クラスあたり 40 枚の画像で、合計 380 MB であり、軽量かつアクセスしやすい。
• Mini バージョンは同じ 40 データセットにわたる 220,950 枚の画像を含み、1 ドメインあたり 19〜706 クラス、クラスあたり 40 枚の画像で、合計 3.9 GB であり、大多数の研究システムに適している。
• Extended バージョンは 150 万枚以上の画像を含み、クラス数は 19 〜 706、1 クラスあたりの画像数は 1 〜 187 で、合計 15 GB であり、大規模な実験に適している。
• Meta-Album は、オープンソースのツールとレビュー体制を備えた、拡張性を設計段階から組み込んだ唯一のメタデータセットである。
• NeurIPS 2021 および 2022 のコンペティションのテストデータは OpenML.org を介してリリースされ、時間とともに進化するローリングベンチマークを形成し、再現可能な研究を支援する。