[論文レビュー] Evaluate & Evaluation on the Hub: Better Best Practices for Data and Model Measurements

Leandro von Werra, Lewis Tunstall+17 more|arXiv (Cornell University)|Sep 30, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

この論文では、機械学習モデルおよびデータセットの評価における再現性、中央集権化、カバー範囲の向上を目的としたオープンソースツール「Evaluate」と「Evaluation on the Hub」を紹介する。Evaluateライブラリは、50以上のメトリクスを統一インターフェースで標準化し、Evaluation on the Hubは、75,000以上のモデルと11,000以上のデータセットを、コードなしで大規模に評価可能にし、MLコミュニティ全体におけるベンチマークとモデル選定を著しく簡素化する。

ABSTRACT

Evaluation is a key part of machine learning (ML), yet there is a lack of support and tooling to enable its informed and systematic practice. We introduce Evaluate and Evaluation on the Hub --a set of tools to facilitate the evaluation of models and datasets in ML. Evaluate is a library to support best practices for measurements, metrics, and comparisons of data and models. Its goal is to support reproducibility of evaluation, centralize and document the evaluation process, and broaden evaluation to cover more facets of model performance. It includes over 50 efficient canonical implementations for a variety of domains and scenarios, interactive documentation, and the ability to easily share implementations and outcomes. The library is available at https://github.com/huggingface/evaluate. In addition, we introduce Evaluation on the Hub, a platform that enables the large-scale evaluation of over 75,000 models and 11,000 datasets on the Hugging Face Hub, for free, at the click of a button. Evaluation on the Hub is available at https://huggingface.co/autoevaluate.

研究の動機と目的

• 機械学習評価の実践における再現性、中央集権化、包括的カバー範囲の欠如に対処すること。
• 1つのオープンソースライブラリに統合することで、メトリクス、ベンチマーク、評価ワークフローの分断を解消し、評価ツールキットの統一を図ること。
• Hugging Face Hub上に構築された中央集権プラットフォームを通じて、モデルおよびデータセットのスケーラブルかつコードなしの評価を可能にすること。
• メトリクス実装とバージョニングの標準化により、モデル比較の透明性と信頼性を向上させること。
• 正確さを超えた評価を支援し、効率性、公平性、耐性といった重要なパフォーマンス次元を含めることで、より良いモデルデプロイ意思決定を促進すること。

提案手法

• 多様なMLドメインにわたる50以上の標準的で、バージョン管理可能で、十分にドキュメント化された評価メトリクスの実装を提供するオープンソースPythonライブラリ「Evaluate」を開発した。
• APIの分断と実装の不一致を低減するため、メトリクス、測定値、比較の統一的で一貫性のあるAPIを設計した。
• EvaluateライブラリをHugging Face Hubと統合し、評価コンponentsの中央集権的保存、共有、バージョニングを可能にした。
• Evaluateライブラリを活用して、モデルをデータセット上で自動的に評価するコードなしのプラットフォーム「Evaluation on the Hub」を構築した。評価結果はパブリックリーダーボードに公開された。
• ドキュメンテーションカードとプラグイン形式のローディングメカニズムを通じて、コミュニティによる新しいメトリクス、測定値、比較の貢献を可能にした。
• レイテンシーやスループットの測定を含む自動評価パイプラインを提供し、実世界のデプロイ意思決定を支援した。

実験結果

リサーチクエスチョン

• RQ1 異なる実験や実装間で機械学習モデルの評価の再現性をどのように向上させられるか？
• RQ2 MLエコシステム全体にわたる評価メトリクスとデータセットの中央集権化と標準化における主な課題は何か？
• RQ3 正確さを超えて、効率性、公平性、耐性といった重要なパフォーマンス次元を含む評価カバー範囲をどのように拡大できるか？
• RQ4 コードなしでスケーラブルなプラットフォームは、モデルおよびデータセットベンチマークへのアクセスを民主化する上で果たす役割は何か？
• RQ5 コミュニティ主導でバージョン管理可能な評価ツールキットは、重複を減らし、報告された結果に対する信頼をどのように向上できるか？

主な発見

• Evaluateライブラリは、50以上の効率的で標準的な評価メトリクス実装を提供し、異なるMLワークフロー間での一貫性と再現性を確保している。
• Evaluation on the Hubは、1クリックで75,000以上のモデルと11,000以上のデータセットを自動的に大規模に評価可能であり、ベンチマークの障壁を著しく低下させている。
• コードなしの評価が可能で、研究者が新しいデータセットに対してモデルのパフォーマンスをコードを書かずに検証できる。
• Hub上のモデルリーダーボードは、タスクごとのモデル比較の信頼できる中央集権的ソースを提供し、評価が行われるたびに自動で結果が更新される。
• 標準化されたドキュメンテーションカードとプラグイン形式のローディングメカニズムにより、コミュニティ貢献が簡素化され、新しい評価コンponentsの採用と保守性が向上した。
• メトリクスとデータセットのバージョン追跡が可能になり、コードの変更があっても再現性をサポートするよう、透明性が向上した。