[論文レビュー] PMLB v1.0: An open source dataset collection for benchmarking machine learning methods

Joseph D. Romano, Trang T. Le+8 more|arXiv (Cornell University)|Nov 30, 2020

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

PMLB v1.0 は、機械学習手法の評価を簡素化するために設計された、多様で公開可能なベンチマークデータセットのオープンソースで中央集権的なリポジトリです。Python および R インターフェースを通じて標準化されたプログラムインターフェースを提供し、多様なデータサイエンスワークフローにおける迅速なベンチマーク評価を可能にし、前回のバージョンと比較して使いやすさとコミュニティ主導の改善が向上しています。

ABSTRACT

Motivation: Novel machine learning and statistical modeling studies rely on standardized comparisons to existing methods using well-studied benchmark datasets. Few tools exist that provide rapid access to many of these datasets through a standardized, user-friendly interface that integrates well with popular data science workflows. Results: This release of PMLB provides the largest collection of diverse, public benchmark datasets for evaluating new machine learning and data science methods aggregated in one location. v1.0 introduces a number of critical improvements developed following discussions with the open-source community. Availability: PMLB is available at https://github.com/EpistasisLab/pmlb. Python and R interfaces for PMLB can be installed through the Python Package Index and Comprehensive R Archive Network, respectively.

研究の動機と目的

• 新しい機械学習手法を評価するための標準化され、簡単にアクセス可能なベンチマークデータセットの不足を解消すること。
• Python および R の一般的なデータサイエンスワークフローにシームレスに統合できる、中央集権的で使いやすいインターフェースを提供すること。
• コミュニティ主導の改善とバージョン管理リリースを通じて、ベンチマークデータセットのアクセス可能性と使いやすさを向上させること。
• メタデータ、データの出自、前処理のメモを含めることで、再現性のある研究を支援する、複数の分野にまたがるよく研究されたデータセットのキュレートされたコレクションを提供すること。

提案手法

• 複数のソースから得られる多様で公開可能なデータセットを、1つの標準化されたリポジトリに統合すること。
• Python および R パッケージを用いた一貫性のあるプログラムインターフェースを実装し、プログラムによるアクセスを可能にすること。
• 再現性と使いやすさを確保するため、メタデータ、データの出自、前処理のメモを統合すること。
• 安定性と再現性を確保するため、データセットコレクションのバージョニング（v1.0）を実施すること。
• オープンソースのライセンスとコミュニティからのフィードバックを採用し、機能開発とデータセットキュレーションをガイドすること。
• データサイエンスパイプラインへの簡単なインストールとデプロイメントを可能にする、パッケージマネージャー（PyPI および CRAN）との統合。

実験結果

リサーチクエスチョン

• RQ1 中央集権的で標準化されたデータセットコレクションは、機械学習ベンチマーク評価における再現性と効率性をどのように向上させるか？
• RQ2 既存のベンチマークデータセットリポジトリにおける主な使いやすさと統合の課題は何か。それらの課題はどのように解決できるか？
• RQ3 コミュニティからのフィードバックは、オープンソースのベンチマークデータセットの設計と有用性をどの程度向上させることができるか？
• RQ4 Python および R における統一インターフェースは、機械学習研究における相互運用性と採用をどのように促進するか？

主な発見

• PMLB v1.0 は、1つの標準化されたリポジトリにまとめられた、公開可能な最大の多様なベンチマークデータセットコレクションを提供している。
• データセットコレクションは、公式のパッケージマネージャー（PyPI および CRAN）を通じて Python および R からアクセス可能であり、広範な採用を可能にしている。
• リリースには、コミュニティからのフィードバックに基づく重要な使いやすさの改善が含まれており、データサイエンスワークフローへの信頼性と統合性が向上している。
• メタデータ、出自情報、一貫した前処理を含めることで、再現可能なベンチマーク評価をサポートしている。
• プロジェクトはオープンソースとしてホスティングされており、DOI を備えることで、恒久的なアクセスと学術的引用可能性を確保している。
• 安定版 v1.0 のリリースにより、研究間での一貫したベンチマーク評価が可能となり、機械学習研究における手法比較を促進している。