[論文レビュー] Introducing ReQuEST: an Open Platform for Reproducible and Quality-Efficient Systems-ML Tournaments

Thierry Moreau, Anton Lokhmotov+1 more|arXiv (Cornell University)|Jan 19, 2018

Machine Learning and Data Classification参考文献 1被引用数 5

ひとこと要約

ReQuEST は、Collective Knowledge フレームワークと ACM アーティファクト評価手法を用いて、ハードウェア/ソフトウェアスタック全体にわたる評価を標準化する、オープンで再現可能なシステム・マシンラーニング共同設計トーナメントのプラットフォームを提供する。これは、速度、正確性、エネルギー、コストのパレート最適なトレードオフに注力し、再利用可能で比較可能でコミュニティ検証済みの研究アーティファクトを促進する。

ABSTRACT

Co-designing efficient machine learning based systems across the whole hardware/software stack to trade off speed, accuracy, energy and costs is becoming extremely complex and time consuming. Researchers often struggle to evaluate and compare different published works across rapidly evolving software frameworks, heterogeneous hardware platforms, compilers, libraries, algorithms, data sets, models, and environments. We present our community effort to develop an open co-design tournament platform with an online public scoreboard. It will gradually incorporate best research practices while providing a common way for multidisciplinary researchers to optimize and compare the quality vs. efficiency Pareto optimality of various workloads on diverse and complete hardware/software systems. We want to leverage the open-source Collective Knowledge framework and the ACM artifact evaluation methodology to validate and share the complete machine learning system implementations in a standardized, portable, and reproducible fashion. We plan to hold regular multi-objective optimization and co-design tournaments for emerging workloads such as deep learning, starting with ASPLOS'18 (ACM conference on Architectural Support for Programming Languages and Operating Systems - the premier forum for multidisciplinary systems research spanning computer architecture and hardware, programming languages and compilers, operating systems and networking) to build a public repository of the most efficient machine learning algorithms and systems which can be easily customized, reused and built upon.

研究の動機と目的

• 進化するハードウェア、ソフトウェア、フレームワークを対象としたシステム-ML共同設計の評価における、複雑さと再現不能性の増大に対処するため。
• 公平で直接比較可能なマシンラーニングシステムの比較を可能にする、標準化され、コミュニティ主導のプラットフォームを確立するため。
• オープンソースのワークフローとアーティファクト評価を通じて、研究アーティファクトの再現可能性、再利用可能性、技術移転を促進するため。
• 多様なワークロードとプラットフォームにわたる、品質と効率のトレードオフの継続的ベンチマークと最適化を可能にするため。
• 二カ月に一度のワークショップと産業界からのフィードバックを通じて、システム、マシンラーニング、ハードウェアコミュニティ間の協力を促進するため。

提案手法

• プラットフォームは、共通の JSON API を備えたバージョン管理可能で再利用可能なワークフローを可能にする、オープンソースの Collective Knowledge (CK) フレームワークに基づいている。
• 提出物の検証と多様な環境での再現可能性を保証するため、ACM アーティファクト評価手法を統合している。
• ボランティアからの貢献を基にリアルタイムで生成されるライブスコアボードにより、デバイスやフレームワークにわたるインファレンス速度、エネルギー、コストなどのメトリクスを追跡する。
• モデル、フレームワーク、データセット、ハードウェア構成を含むカスタマイズ可能な CK プラグインとして提出物がパッケージ化され、一貫したデプロイメントが可能になる。
• 精度、実行時間、メモリフットプリントなどの次元にわたるパレート最適解を追跡することで、マルチオブジェクティブ最適化をサポートする。
• 今後の拡張では、シミュレータ、低レベル最適化、ニューロモーフィックおよびアナログアクセラレータなどの新興ハードウェアのサポートを予定している。

実験結果

リサーチクエスチョン

• RQ1 異種のハードウェアとソフトウェアスタックにわたるシステム-ML共同設計における再現可能性と比較可能性をどのように向上できるか？
• RQ2 公平で自動的かつ継続的なマシンラーニングシステムのベンチマークを可能にする、標準化されたワークフローと評価手法とは何か？
• RQ3 コミュニティ主導のプラットフォームが、速度、正確性、コストの観点からパレート最適なシステム設計の発見と再利用をどのように促進できるか？
• RQ4 ライブで公開されるスコアボードとアーティファクト評価が、研究の透明性と技術移転をどのように向上させられるか？
• RQ5 学術界と産業界からのフィードバックは、持続可能で拡張可能な共同設計プラットフォームの進化をどのように形作れるか？

主な発見

• ReQuEST は、Collective Knowledge フレームワークで駆動されるライブスコアボードを用いて、多様なフレームワーク、モデル、デバイスにわたるディープラーニング推論のリアルタイムで公開されたベンチマークを可能にする。
• プラットフォームは、ACM アーティファクト評価手法を効果的に統合し、異なるシステム構成にわたる提出物の検証と再現可能性を保証している。
• CK を通じたワークフローとメタデータの標準化により、ReQuEST は異種プラットフォームにわたる研究アーティファクトの再利用とカスタマイズを容易にする。
• 初回の ReQuEST ワークショップは、2018 年に ASPLOS と合同開催され、推論最適化に焦点を当て、今後の二カ月に一度のトーナメントのパイロットとして機能した。
• プラットフォームは多次元のパレート最適性分析をサポートし、正確性、速度、エネルギー、コストを効果的にバランスさせるソリューションを浮き彫りにしている。
• 産業界および学術界からのフィードバックを活用して、新規ハードウェア、メトリクス、最適化技術のサポート拡張が進められている。