[논문 리뷰] OpenML-Python: an extensible Python API for OpenML

Matthias Feurer, Jan N. van Rijn외 7명|arXiv (Cornell University)|2019. 11. 06.

Machine Learning and Data Classification참고 문헌 14인용 수 18

한 줄 요약

OpenML-Python은 OpenML 플랫폼과의 원활한 통합을 가능하게 하는 파이썬 API로, 연구자가 프로그래밍 방식으로 데이터셋, 작업, 실험 결과에 접근할 수 있도록 한다. 이는 실험 공유, 결과 업로드, scikit-learn 및 기타 파이썬 기반 머신러닝 라이브러리와의 통합을 표준화된 확장 인터페이스를 통해 지원함으로써 재현 가능한 머신러닝을 가능하게 한다.

ABSTRACT

OpenML is an online platform for open science collaboration in machine learning, used to share datasets and results of machine learning experiments. In this paper we introduce OpenML-Python, a client API for Python, opening up the OpenML platform for a wide range of Python-based tools. It provides easy access to all datasets, tasks and experiments on OpenML from within Python. It also provides functionality to conduct machine learning experiments, upload the results to OpenML, and reproduce results which are stored on OpenML. Furthermore, it comes with a scikit-learn plugin and a plugin mechanism to easily integrate other machine learning libraries written in Python into the OpenML ecosystem. Source code and documentation is available at https://github.com/openml/openml-python/.

연구 동기 및 목표

• 파이썬 생태계 내에서 OpenML의 데이터셋, 작업, 실험 결과에 접근하기 위한 사용자 友好的이고 프로그래밍 가능한 인터페이스를 제공하는 것.
• 연구자가 OpenML를 통해 실험을 수행하고 게재하며 재현할 수 있도록 전반적인 기록 추적 기능을 제공하는 것.
• 새로운 파이썬 기반 머신러닝 라이브러리가 OpenML 생태계에 통합될 수 있도록 표준화된 확장 메커니즘을 제공함으로써 확장성 지원하는 것.
• 초기화된 초모수, 랜덤 시드, 평가 지표 등의 자동화된 공유를 통해 머신러닝의 재현성과 협업을 향상시키는 것.
• 정제된 데이터셋과 실험 결과에 대한 대규모이고 일관된 접근을 가능하게 하여 벤치마킹과 메타러닝을 간소화하는 것.

제안 방법

• OpenML의 REST API를 파이썬스러운 객체 지향 인터페이스로 노출하여 OpenML 엔티티(데이터셋, 작업, 플로우, 런)를 파이썬 클래스로 매핑하는 것.
• OpenML 데이터 포맷을 numpy 배열, scipy 희소 행렬, pandas DataFrame과 같은 표준 파이썬 데이터 구조로 변환하는 것.
• scikit-learn 확장을 통해 scikit-learn 추정기와 OpenML 플로우를 매핑하고, 메타데이터를 포함한 훈련, 예측, 결과 업로드를 가능하게 하는 것.
• 모델 변환, 훈련, 예측 형식화를 위한 정의된 인터페이스를 통해 새로운 머신러닝 라이브러리가 통합될 수 있도록 확장성 프레임워크를 구현하는 것.
• 데이터 캐싱과 OpenML 메타데이터를 활용한 로컬 실험을 지원함으로써 오프라인 사용을 가능하게 하는 것.
• 코드 품질과 사용성 보장을 위해 지속적 통합, 자동 타입 체크, Sphinx 기반 문서화를 활용하는 것.

실험 결과

연구 질문

• RQ1 파이썬 기반 머신러닝 생태계가 OpenML 플랫폼과 어떻게 원활하게 통합되어 공유된 데이터와 실험의 재현 가능성을 확보할 수 있는가?
• RQ2 다양한 파이썬 기반 머신러닝 라이브러리와 OpenML과 같은 중앙 집중식 머신러닝 레포지터리 간의 상호작용을 표준화하는 가장 효과적인 방법은 무엇인가?
• RQ3 통합 API가 여러 데이터셋과 알고리즘 간에 실험 공유, 재사용, 벤치마킹의 복잡성을 줄일 수 있는가?
• RQ4 실험 실행 및 업로드 중에 기록 추적(예: 초모수, 랜덤 시드, 모델 구성)을 자동화하고 유지보수할 수 있는가?
• RQ5 OpenML-Python이 일관되고 공유된 데이터 및 결과를 기반으로 대규모 메타러닝 및 알고리즘 비교 연구를 얼마나 효과적으로 지원할 수 있는가?

주요 결과

• OpenML-Python은 OpenML에서 10,000개 이상의 데이터셋과 수백만 개의 실험에 프로그래밍 방식으로 접근 가능하며, numpy, scipy, pandas 형식으로 표준화된 데이터 변환을 지원한다.
• scikit-learn 확장 기능을 통해 사용자는 최소한의 코드로 모델 훈련, 예측 생성, 결과 업로드가 가능하며, 초모수 및 랜덤 시드 추적 기능을 포함한다.
• 확장 메커니즘을 통해 scikit-learn API를 따르는 다른 파이썬 머신러닝 라이브러리가 통합되어 생태계 전반의 재현 가능성과 상호운용성을 증진시킨다.
• 이 패키지는 수백 개의 데이터셋을 포함한 대규모 연구에 사용되어 일관된 벤치마킹과 메타러닝 연구를 가능하게 하였다.
• API는 결과 자동 공유 및 재현성을 지원하며, 예를 들어 SVM의 C 및 감마 값에 대한 초모수 성능의 등고선 그래프 등 OpenML 데이터에서 직접 시각화된 기능을 제공한다.
• 프로젝트는 커뮤니티 기여, 지속적 통합, GitHub 및 Read the Docs에 호스팅된 포괄적인 문서화를 통해 활발히 유지 관리되고 있다.