[論文レビュー] MLModelScope: A Distributed Platform for ML Model Evaluation and Benchmarking at Scale

Abdul Dakkak, Cheng Li+2 more|arXiv (Cornell University)|Sep 25, 2019

Machine Learning in Materials Science参考文献 28被引用数 4

ひとこと要約

MLModelScope は、機械学習モデルのスケーラブルで再現可能かつ公平な評価とベンチマークを可能にする、オープンソースでフレームワークおよびハードウェアに依存しないプラットフォームです。Web、コマンドライン、ライブラリインターフェースを通じた分散実行をサポートし、パイプライン設定やハードウェア／ソフトウェアスタックがモデルの精度およびパフォーマンスに与える影響を示しています。

ABSTRACT

Machine Learning (ML) and Deep Learning (DL) innovations are being introduced at such a rapid pace that researchers are hard-pressed to analyze and study them. The complicated procedures for evaluating innovations, along with the lack of standard and efficient ways of specifying and provisioning ML/DL evaluation, is a major pain point for the community. This paper proposes MLModelScope, an open-source, framework/hardware agnostic, extensible and customizable design that enables repeatable, fair, and scalable model evaluation and benchmarking. We implement the distributed design with support for all major frameworks and hardware, and equip it with web, command-line, and library interfaces. To demonstrate MLModelScope's capabilities we perform parallel evaluation and show how subtle changes to model evaluation pipeline affects the accuracy and HW/SW stack choices affect performance.

研究の動機と目的

• 機械学習／深層学習のイノベーションを評価するための標準化され、効率的で再現可能な手法の不足に対処すること。
• 主要な機械学習フレームワークおよびハードウェアアクセラレータをすべてサポートする分散型で拡張可能かつカスタマイズ可能なプラットフォームを設計すること。
• 標準化されたパイプラインと再現可能な設定を通じて、公平でスケーラブルなモデル評価を可能にすること。
• 研究および本番ワークフローの両方で広く利用可能な、Web、CLI、ライブラリの複数のアクセスインターフェースを提供すること。
• 評価パイプライン設計およびハードウェア／ソフトウェアスタック選択がモデルの精度およびパフォーマンスに与える影響を実証的に示すこと。

提案手法

• モデル評価ロジックを下位のハードウェアおよびフレームワークから分離する分散アーキテクチャの設計。
• 主要な機械学習フレームワーク（例：PyTorch、TensorFlow）およびハードウェアアクセラレータとの統合を可能にするプラグインベースの拡張性モデルの実装。
• 評価パイプラインを定義するための標準化された構成スキーマの提供により、再現可能性とバージョニングを可能にすること。
• 分散タスクスケジューラーを介して、異種ハードウェア上でモデル評価を並列実行すること。
• インタラクティブな探索を可能にするWebインターフェース、自動化のためのCLI、統合のためのプログラマティックなライブラリAPIを通じてプラットフォームを公開すること。
• すべてのテスト実行において一貫したデータ読み込み、前処理、メトリクス計算に基づいて評価の公平性を確保すること。

実験結果

リサーチクエスチョン

• RQ1 多様なフレームワークやハードウェアプラットフォームにおいて、どのように機械学習モデルの評価を標準化しスケーリングできるか？
• RQ2 評価パイプラインのわずかな変更が、モデルの精度およびパフォーマンスメトリクスにどの程度の影響を及えるか？
• RQ3 実際の環境において、ハードウェアおよびソフトウェアスタックの選択が、モデルの推論および学習パフォーマンスにどのように影響するか？
• RQ4 統一的で拡張可能なプラットフォームは、機械学習ベンチマークの複雑さを軽減し、再現性を向上させることができるか？
• RQ5 異なる評価パイプライン構成を使用する際のパフォーマンスと精度のトレードオフは何か？

主な発見

• MLModelScope は、異種ハードウェア上でモデルの並列評価を可能にし、ベンチマーク時間の大幅な短縮を実現している。
• データシャッフルや正規化などの評価パイプラインのわずかな変更が、報告されるモデル精度に顕著な差をもたらすことがある。
• GPUの種別やフレームワークのバージョンを含むハードウェアおよびソフトウェアスタックの選択が、モデルの推論および学習パフォーマンスに顕著な差をもたらす。
• プラットフォームの標準化された構成およびインターフェース設計により、ベンチマークワークフローにおける再現性が向上し、構成関連のエラーが削減された。
• WebおよびCLIインターフェースにより、研究者が大規模な評価キャンペーンを効率的に管理および監視できるようになった。
• ライブラリインターフェースにより、既存の機械学習研究およびCI/CDパイプラインへのシームレスな統合が可能になった。