[論文レビュー] OpenML-Python: an extensible Python API for OpenML

Matthias Feurer, Jan N. van Rijn+7 more|arXiv (Cornell University)|Nov 6, 2019

Machine Learning and Data Classification参考文献 14被引用数 18

ひとこと要約

OpenML-Python は、OpenML プラットフォームとのシームレスな統合を可能にする Python API であり、研究者がプログラム的にデータセット、タスク、実験結果にアクセスできるようにします。このツールは、実験の共有、結果のアップロード、scikit-learn やその他の Python ML ライブラリとの統合を標準化された拡張インターフェースを通じて支援することで、再現可能な機械学習を実現します。

ABSTRACT

OpenML is an online platform for open science collaboration in machine learning, used to share datasets and results of machine learning experiments. In this paper we introduce OpenML-Python, a client API for Python, opening up the OpenML platform for a wide range of Python-based tools. It provides easy access to all datasets, tasks and experiments on OpenML from within Python. It also provides functionality to conduct machine learning experiments, upload the results to OpenML, and reproduce results which are stored on OpenML. Furthermore, it comes with a scikit-learn plugin and a plugin mechanism to easily integrate other machine learning libraries written in Python into the OpenML ecosystem. Source code and documentation is available at https://github.com/openml/openml-python/.

研究の動機と目的

• Python エコシステム内での OpenML のデータセット、タスク、実験結果への使いやすいプログラムインターフェースを提供すること。
• 研究者が OpenML を通じて、完全なプロバンス追跡を伴い、実験を実施・公開・再現できるようにすること。
• 新しい Python ベースの機械学習ライブラリを OpenML エコシステムに統合するための標準化された拡張メカニズムを提供することで、拡張性を支援すること。
• ハイパーパramータ、ランダムシード、評価メトリクスの共有を自動化することで、機械学習における再現性と協働を向上させること。
• 体系的かつ一貫した方法でキュレートされたデータセットと実験結果に大規模にアクセスできるようにすることで、ベンチマーク評価とメタラーニングを簡素化すること。

提案手法

• OpenML の REST API を Python 的なオブジェクト指向インターフェースとして公開し、OpenML エンティティ（データセット、タスク、フロー、実行）を Python クラスにマッピングする。
• OpenML のデータフォーマットを numpy 配列、scipy スパース行列、pandas DataFrame などの標準的な Python データ構造に変換する。
• scikit-learn 拡張機能を提供し、scikit-learn の推定器を OpenML フローにマッピングし、完全なメタデータを伴った学習・予測・結果アップロードを可能にする。
• モデル変換、学習、予測フォーマットのための明確なインターフェースを備えた拡張性フレームワークを実装し、新しい ML ライブラリの統合を可能にする。
• データのキャッシュと OpenML メタデータを用いたローカルでの実験を可能にするため、オフライン利用をサポートする。
• コード品質と使いやすさを保証するため、継続的インテグレーション、自動型チェック、Sphinx を用いたドキュメントを導入する。

実験結果

リサーチクエスチョン

• RQ1 Python ベースの機械学習エコシステムは、どのように OpenML プラットフォームと統合され、共有データと実験の再現性を実現できるか？
• RQ2 多様な Python ML ライブラリと、OpenML のような中央集権的な機械学習リポジトリとの間で、最も効果的な標準化されたインタラクション方法は何か？
• RQ3 統一された API は、複数のデータセットとアルゴリズムをまたいで、実験の共有・再利用・ベンチマーク評価の複雑さを軽減できるか？
• RQ4 ハイパーパramータ、ランダムシード、モデル設定などのプロバンス追跡を、実験実行およびアップロード中に自動化し、保持できるか？
• RQ5 OpenML-Python は、一貫性のある共有データと結果を用いて、大規模なメタラーニングやアルゴリズム比較研究をどの程度促進できるか？

主な発見

• OpenML-Python は、OpenML 上の 10,000 種類以上のデータセットと数百万件の実験にプログラム的にアクセスでき、numpy、scipy、pandas 形式への標準化されたデータ変換を実現している。
• scikit-learn 拡張機能により、ユーザーは最小限のコードでモデルの学習、予測生成、結果のアップロードが可能となり、ハイパーパramータとランダムシードの完全な追跡が可能になっている。
• 拡張メカニズムにより、scikit-learn API を準拠する他の Python ML ライブラリの統合が可能となり、エコシステム全体の再現性と相互運用性が促進されている。
• 本パッケージは、数百のデータセットを含む大規模な研究で使用されており、一貫性のあるベンチマーク評価とメタラーニング研究を可能にしている。
• API は、結果の共有と再現性を自動化しており、例えば SVM の C と gamma のハイパーパラメータのパフォーマンスの等高線プロット（例：SVM C と gamma）を OpenML データから直接可視化する機能も備えている。
• 本プロジェクトはコミュニティの貢献、継続的インテグレーション、GitHub および Read the Docs にホスティングされた包括的なドキュメントを備えて、活発にメンテナンスされている。