[논문 리뷰] Meta-Album: Multi-domain Meta-Dataset for Few-Shot Image Classification

Ihsan Ullah, Dustin Carrión-Ojeda외 8명|arXiv (Cornell University)|2023. 02. 16.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

Meta-Album은 생태학, 제조, 광학 문자 인식 등 10개의 도메인에서 구성된 다수의 도메인을 포함하는 대규모 다중 도메인 메타데이터셋을 제공하며, 각 도메인은 최소 20개의 클래스와 클래스당 40장 이상의 이미지를 포함한다. 이 데이터셋은 Micro, Mini, Extended 세 가지 확장 가능한 버전을 제공하며, 동일한 포맷, 검증된 라이선스, 커뮤니티 기여를 통한 확장성 덕분에 이질적인 도메인 간에 메타학습 및 전이학습 알고리즘의 실제적 평가가 가능하다.

ABSTRACT

We introduce Meta-Album, an image classification meta-dataset designed to facilitate few-shot learning, transfer learning, meta-learning, among other tasks. It includes 40 open datasets, each having at least 20 classes with 40 examples per class, with verified licences. They stem from diverse domains, such as ecology (fauna and flora), manufacturing (textures, vehicles), human actions, and optical character recognition, featuring various image scales (microscopic, human scales, remote sensing). All datasets are preprocessed, annotated, and formatted uniformly, and come in 3 versions (Micro $\subset$ Mini $\subset$ Extended) to match users' computational resources. We showcase the utility of the first 30 datasets on few-shot learning problems. The other 10 will be released shortly after. Meta-Album is already more diverse and larger (in number of datasets) than similar efforts, and we are committed to keep enlarging it via a series of competitions. As competitions terminate, their test data are released, thus creating a rolling benchmark, available through OpenML.org. Our website https://meta-album.github.io/ contains the source code of challenge winning methods, baseline methods, data loaders, and instructions for contributing either new datasets or algorithms to our expandable meta-dataset.

연구 동기 및 목표

• 소수의 이미지 학습을 위한 다양한, 실제적인, 계산적으로 타당한 메타데이터셋의 부족을 해결하기 위해.
• 실제 세계의 분포 이탈을 반영하는 이질적 도메인 간의 교차 도메인 설정에서 메타학습 알고리즘의 평가를 가능하게 하기 위해.
• 경량, 중간, 대규모 실험을 모두 지원하는 확장 가능한, 확장 가능한 메타데이터셋을 만들기 위해.
• 대회 및 새로운 데이터셋과 알고리즘의 오픈 기여를 통해 커뮤니티 주도의 확장을 촉진하기 위해.
• OpenML.org에 공개된 대회 테스트 세트를 통해 롤링 벤치마크를 제공함으로써 장기적인 유용성과 재현 가능성을 확보하기 위해.

제안 방법

• 메타데이터셋은 동일한 포맷으로 정제되고, 주석이 추가된 40개의 이미지 분류 데이터셋을 포함하며, 동물, 식물, 질감, 차량, OCR 등 10개의 다른 도메인을 포함한다.
• 모든 데이터셋은 최소 20개의 클래스와 클래스당 40장의 이미지를 포함하여 소수의 이미지 학습에 적합하면서도 스케일과 모odal의 다양성을 유지한다.
• 계산 자원에 따라 맞춤형으로 사용 가능한 세 가지 버전(Micro, Mini, Extended)이 제공되며, 데이터 양과 커버리지가 점차 증가한다.
• 모든 데이터셋은 학술적 사용을 위한 라이선스가 있으며, 검증된 오픈 라이선스와 메타데이터가 프로젝트 웹사이트 및 OpenML.org에서 제공된다.
• 데이터 포맷, 검증, 리뷰 프로세스를 포함한 커뮤니티 기여 파이프라인을 구축하여 품질과 일관성을 확보한다.
• 메타데이터셋은 NeurIPS 2021 및 2022 대회 프레임워크에 통합되었으며, 대회 후 테스트 세트가 OpenML에 공개되어 지속적으로 업데이트되는 롤링 벤치마크를 형성한다.

실험 결과

연구 질문

• RQ1 다양한 도메인을 포함하는 다중 도메인 메타데이터셋은 단일 도메인 벤치마크를 초월해 소수의 이미지 학습 알고리즘의 일반화 평가를 향상시킬 수 있는가?
• RQ2 다양한 도메인과 클래스 계층의 포함이 메타학습 모델의 성능 및 강건성에 어떤 영향을 미치는가?
• RQ3 커뮤니티 주도의 확장 가능한 메타데이터셋이 메타학습 연구에서 장기적인 벤치마크 유용성을 유지하는 데 얼마나 기여하는가?
• RQ4 다양한 도메인 간에 동일한 포맷의 사전 처리된 데이터가 제공될 경우, 소수의 이미지 학습 분야의 신규 연구자들이 진입 장벽을 낮출 수 있는가?
• RQ5 다양한 데이터 스케일(Micro, Mini, Extended)이 메타학습 모델의 성능과 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• Meta-Album은 10개의 도메인에 걸쳐 40개의 이미지 분류 데이터셋을 포함하며, 30개는 즉시 이용 가능하고 10개는 2023년 봄에 공개되어 이전의 메타데이터셋보다 더 넓고 다양한 컬렉션을 제공한다.
• Micro 버전은 40개의 데이터셋에서 총 32,000장의 이미지로 구성되어 있으며, 도메인당 19~20개의 클래스와 클래스당 40장의 이미지를 포함하며, 총 380MB로 가볍고 접근성이 뛰어나다.
• Mini 버전은 동일한 40개의 데이터셋에서 총 220,950장의 이미지를 포함하며, 도메인당 19~706개의 클래스와 클래스당 40장의 이미지를 포함하며, 총 3.9GB로 대부분의 연구 시스템에 적합하다.
• Extended 버전은 총 150만 장의 이미지를 포함하며, 클래스 수는 19~706개, 클래스당 이미지 수는 1~187장이며, 총 15GB로 대규모 실험을 지원한다.
• Meta-Album은 유일하게 확장 가능하도록 설계된 메타데이터셋으로, 오픈소스 도구와 리뷰 프로세스를 통해 지속적인 커뮤니티 기여를 지원한다.
• NeurIPS 2021 및 2022 대회에서의 테스트 데이터는 OpenML.org를 통해 공개되어 지속적으로 업데이트되는 롤링 벤치마크를 형성하며, 재현 가능한 연구를 지원한다.