[논문 리뷰] OpenML Benchmarking Suites and the OpenML100.

Bernd Bischl, Giuseppe Casalicchio외 6명|arXiv (Cornell University)|2017. 08. 11.

Machine Learning and Data Classification인용 수 35

한 줄 요약

이 논문은 OpenML.org에서 가져온 100개의 분류 데이터셋으로 구성된 표준화되고 총괄된 벤치마크 세트인 OpenML100을 소개한다. 이는 표준화되고 재현 가능한 기계학습 평가를 위해 설계되었으며, OpenML의 표준화된 API와 메타데이터 기반으로 구축되어 쉽게 접근 가능하고 기계로 읽을 수 있는 메타데이터를 제공하며 온라인 결과 공유를 가능하게 하여 다양한 데이터셋을 대상으로 한 대규모 비교 연구를 촉진한다.

ABSTRACT

We advocate the use of curated, comprehensive benchmark suites of machine learning datasets, backed by standardized OpenML-based interfaces and complementary software toolkits written in Python, Java and R. Major distinguishing features of OpenML benchmark suites are (a) ease of use through standardized data formats, APIs, and existing client libraries; (b) machine-readable meta-information regarding the contents of the suite; and (c) online sharing of results, enabling large scale comparisons. As a first such suite, we propose the OpenML100, a machine learning benchmark suite of 100~classification datasets carefully curated from the thousands of datasets available on OpenML.org.

연구 동기 및 목표

• 다양한 데이터셋 간 기계학습 평가를 위한 표준화되고 재사용 가능한 벤치마크 세트의 부족을 해결하기 위해.
• 총괄된, 잘 문서화된 데이터셋 컬렉션을 제공하여 기계학습 연구의 재현 가능성과 비교 가능성 향상시키기 위해.
• OpenML를 통한 표준화된 메타데이터 및 온라인 결과 공유 통합을 통해 대규모 자동 비교를 가능하게 하기 위해.
• 파이썬, 자바, R에서 일관된 데이터 포맷과 클라이언트 라이브러리를 통해 벤치마크 데이터셋의 접근성과 사용성을 간소화하기 위해.

제안 방법

• 품질, 다양성, 메타데이터 가용성 기반으로 OpenML.org 레포지터리에서 100개의 분류 데이터셋을 총괄하기.
• OpenML의 기존 인프라와 데이터 모델을 사용하여 데이터 포맷과 메타데이터를 표준화하기.
• 파이썬, 자바, R에서 일관된 API와 클라이언트 라이브러리를 구현하여 벤치마크 세트에 대한 프로그래밍적 접근 가능하게 하기.
• 각 데이터셋의 작업 유형, 클래스 분포, 특성 통계 등의 기계로 읽을 수 있는 메타데이터를 통합하기.
• OpenML 플랫폼과의 통합을 통해 온라인 결과 공유 및 비교 기능 제공하기.
• 모든 데이터셋과 결과를 중심화된, 버전 관리된 지식 기반에 연결하여 재현 가능성 확보하기.

실험 결과

연구 질문

• RQ1 표준화되고 재사용 가능한 벤치마크 세트는 기계학습 연구의 재현성에 어떻게 향상시킬 수 있는가?
• RQ2 총괄된 데이터셋 컬렉션은 기계학습 알고리즘 평가의 비교 가능성에 어느 정도 기여하는가?
• RQ3 표준화된 메타데이터와 API는 벤치마크 워크플로우에서 데이터셋 통합의 오버헤드를 줄이는 데 얼마나 효과적인가?
• RQ4 온라인 결과 공유 기능은 기계학습 모델의 대규모 공동체 기반 비교를 얼마나 효과적으로 지원하는가?

주요 결과

• OpenML100은 OpenML.org에서 다양성과 품질을 고려해 선별한 100개의 분류 데이터셋으로 구성된 표준화되고 접근 가능한 벤치마크 세트를 제공한다.
• 파이썬, 자바, R에서의 표준화된 데이터 포맷과 클라이언트 라이브러리 사용은 연구자들이 데이터셋 통합 오버헤드를 크게 줄여준다.
• 기계로 읽을 수 있는 메타데이터를 통해 실험 간 데이터셋과 결과의 자동 분석 및 비교가 가능해진다.
• OpenML를 통한 온라인 결과 공유 기능은 대규모 공동체 기반 벤치마킹과 재현 가능성 향상을 촉진한다.
• OpenML의 인프라 통합을 통해 결과의 추적 가능성, 버전 관리, 장기적 유지보수성이 보장된다.
• 벤치마크 세트는 데이터셋, 실험, 결과를 중심화된 접근 가능한 플랫폼에 연결함으로써 재현 가능한 연구를 지원한다.