[論文レビュー] OpenML Benchmarking Suites and the OpenML100.

Bernd Bischl, Giuseppe Casalicchio+6 more|arXiv (Cornell University)|Aug 11, 2017

Machine Learning and Data Classification被引用数 35

ひとこと要約

この論文では、OpenML.org から収集された100の分類データセットから構成される、標準化され、再現可能に評価可能な機械学習のベンチマークスイート「OpenML100」を紹介する。OpenMLの標準化されたAPIとメタデータに基づいて構築されており、容易なアクセス、機械可読性のあるメタデータ、オンラインでの結果共有を可能にし、多様なデータセットを対象とした大規模な比較研究を促進する。

ABSTRACT

We advocate the use of curated, comprehensive benchmark suites of machine learning datasets, backed by standardized OpenML-based interfaces and complementary software toolkits written in Python, Java and R. Major distinguishing features of OpenML benchmark suites are (a) ease of use through standardized data formats, APIs, and existing client libraries; (b) machine-readable meta-information regarding the contents of the suite; and (c) online sharing of results, enabling large scale comparisons. As a first such suite, we propose the OpenML100, a machine learning benchmark suite of 100~classification datasets carefully curated from the thousands of datasets available on OpenML.org.

研究の動機と目的

• 多様なデータセットにわたる機械学習評価のための標準化され、再利用可能なベンチマークスイートの欠如を解消すること。
• キュレートされた、よく文書化されたデータセットのコレクションを提供することで、機械学習研究における再現性と比較可能性を向上させること。
• OpenMLを介した標準化されたメタデータとオンライン結果共有の統合により、大規模かつ自動化された比較を可能にすること。
• Python、Java、Rにおける一貫したデータ形式とクライアントライブラリを用いた、ベンチマークデータセットへのアクセスと利用の簡素化。

提案手法

• OpenML.orgのリポジトリから、品質、多様性、メタデータの豊富さに基づいて100の分類データセットをキュレートすること。
• OpenMLの既存インfraストラクチャとデータモデルを用いて、データ形式とメタデータを標準化すること。
• Python、Java、Rにおける一貫したAPIとクライアントライブラリを実装し、ベンチマークスイートへのプログラム的アクセスを可能にすること。
• 各データセットの機械可読メタデータ（タスクタイプ、クラス分布、特徴量統計など）を埋め込むこと。
• OpenMLプラットフォームとの統合により、オンラインでの結果共有と比較を可能にすること。
• すべてのデータセットと結果を集中管理され、バージョン管理された知識ベースにリンクさせることで、再現性を確保すること。

実験結果

リサーチクエスチョン

• RQ1 標準化され、再利用可能なベンチマークスイートは、機械学習研究における再現性をどのように向上させるか？
• RQ2 キュレートされたデータセットのコレクションは、機械学習アルゴリズムの評価の比較可能性をどの程度向上させるか？
• RQ3 標準化されたメタデータとAPIは、ベンチマーキングワークフローにおけるデータセット統合のオーバーヘッドをどの程度低減できるか？
• RQ4 オンラインでの結果共有は、大規模かつコミュニティ主導の機械学習モデル比較をどの程度効果的に可能にするか？

主な発見

• OpenML100は、OpenML.orgから多様性と品質を考慮して選別された100の分類データセットから構成される、標準化され、アクセス可能なベンチマークスイートを提供する。
• Python、Java、Rにおける標準化されたデータ形式とクライアントライブラリの使用は、研究者がデータセットを統合する際のオーバーヘッドを顕著に低減する。
• 機械可読メタデータにより、実験全体にわたるデータセットと結果の自動分析および比較が可能になる。
• OpenMLを通じたオンライン結果共有により、大規模かつコミュニティ主導のベンチマーキングと再現性が促進される。
• OpenMLのインfraストラクチャとの統合により、トレーサビリティ、バージョニング、長期的な保守性が実現される。
• データセット、実験、結果を一元的に管理し、アクセス可能なプラットフォームにリンクさせることで、再現可能な研究を支援する。