[論文レビュー] OpenML Benchmarking Suites

Bernd Bischl, Giuseppe Casalicchio+7 more|TU/e Research Portal|Aug 11, 2017

Machine Learning and Data Classification参考文献 27被引用数 22

ひとこと要約

この論文は、OpenML プラットフォームに統合された標準化されたフレームワーク、OpenML ベンチマーキング サイツを紹介する。これにより、研究者がキュレート済みで再現可能なかぎりの機械学習ベンチマーキング サイツを簡単に作成・共有・再利用できるようになる。本論文では、注意深くキュレートされた分類ベンチマーキング サイツ、OpenML-CC18 を提示し、これらのツールが体系的なベンチマーキングを簡素化し、再現性を向上させ、機械学習コミュニティ全体で大規模かつ比較可能なアルゴリズム評価を支援することを示している。

ABSTRACT

Machine learning research depends on objectively interpretable, comparable, and reproducible algorithm benchmarks. We advocate the use of curated, comprehensive suites of machine learning tasks to standardize the setup, execution, and reporting of benchmarks. We enable this through software tools that help to create and leverage these benchmarking suites. These are seamlessly integrated into the OpenML platform, and accessible through interfaces in Python, Java, and R. OpenML benchmarking suites (a) are easy to use through standardized data formats, APIs, and client libraries; (b) come with extensive meta-information on the included datasets; and (c) allow benchmarks to be shared and reused in future studies. We then present a first, carefully curated and practical benchmarking suite for classification: the OpenML Curated Classification benchmarking suite 2018 (OpenML-CC18). Finally, we discuss use cases and applications which demonstrate the usefulness of OpenML benchmarking suites and the OpenML-CC18 in particular.

研究の動機と目的

• 機械学習研究における標準化、再利用可能で再現可能なベンチマーキング手法の不足に対処すること。
• 研究者が一貫した評価手順に従って、簡単にベンチマーキング サイツを作成・共有・再利用できるようにすること。
• タスク定義とメタデータの標準化により、研究間でのアルゴリズム評価の比較可能性と解釈可能性を向上させること。
• OpenML の既存のデータセット、タスク、実験追跡インfraストラクチャと統合することで、大規模かつ体系的なベンチマーキングを支援すること。
• 継続的なフィードバックと拡張を可能にする仕組みを提供することで、コミュニティ主導のベンチマーキング サイツの進化を促進すること。

提案手法

• 本論文は、OpenML プラットフォーム上に新たなベンチマーキングレイヤーを導入し、各タスクにデータセット、評価手順、パフォーマンスメトリクスに関するメタデータを含む、標準化されたタスクのコレクションとしてベンチマーキング サイツを定義する。
• Python、R、Java での OpenML の既存 API およびクライアントライブラリを活用し、ベンチマーキング サイツへのシームレスな統合とプログラム的アクセスを可能にする。
• ベンチマーキング サイツのキュレーションを支援するソフトウェアツールを開発し、データセットの品質の検証や評価プロトコルの一貫性の確認を実施した。
• OpenML-CC18 は、複数か月にわたる手動による点検と品質チェックを通じて、数千の OpenML データセットからキュレートされた最初の実用的例として提示されている。
• フレームワークは、自動的な実験共有と結果の公開をサポートしており、再現性と研究間での長期的比較を実現する。
• リソース制約、倫理的開示、データシートおよび引用システムとの将来的な統合を含む、拡張性を備えている。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、機械学習研究における再現性と比較可能性を向上させるために、ベンチマーキング サイツを標準化できるか？
• RQ2 キュレート済みのベンチマーキング サイツの作成・共有・再利用を支えるために、どのような技術的および組織的インfraストラクチャが必要か？
• RQ3 どのようにすれば、包括的でありながら大規模な評価に耐えうる計算的実行可能性を備えたベンチマーキング サイツを設計できるか？
• RQ4 標準化されたベンチマーキング サイツが、機械学習研究におけるアルゴリズム評価の質と一貫性に与える影響は何か？
• RQ5 機械学習コミュニティが、寄稿とフィードバックを通じて、どのようにして持続可能な形でベンチマーキング サイツを進化させられるか？

主な発見

• OpenML ベンチマーキング サイツフレームワークにより、研究者は Python、R、Java の標準化された API を使用して、最小限のコードでベンチマーキング サイツの作成・使用・共有が可能になった。
• キュレート済みの分類ベンチマーキング サイツである OpenML-CC18 は、新しいツールを用いて作成され、品質、多様性、実用性を考慮して選別された 168 個のデータセットを含む。
• フレームワークは、評価手順、分割方法、メトリクスを各タスクに直接埋め込むことで、完全な再現性を実現し、研究間での一貫した実行を保証している。
• ベンチマーキング サイツはすでに新しい研究で採用されており、AutoML ベンチマーキング サイツへの統合が実現しており、実世界での実用性を示している。
• プラットフォームは、ベンチマーキング結果の自動共有と整理を可能にし、実験間での長期的比較と分析を可能にしている。
• 計算負荷、倫理的開示、自動キュレーションツールの必要性といった主な課題を同定し、これらを今後の研究課題として提案している。