[論文レビュー] MLSys: The New Frontier of Machine Learning Systems

Alexander Ratner, Dan Alistarh+67 more|arXiv (Cornell University)|Mar 29, 2019

Big Data and Business Intelligence参考文献 2被引用数 21

ひとこと要約

本論文は、機械学習とシステム分野の研究を橋渡しする新しい学術会議MLSysを提案する。MLの実装におけるエフェシェンシー、公平性、耐障害性、使いやすさといったフルスタックの課題に取り組む。共同プログラム委員会、きびしい同人レビュー、アーティファクト評価を導入し、機械学習とシステム分野の交差分野における研究を加速する。

ABSTRACT

Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, MLSys, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.

研究の動機と目的

• ハードウェア、ソフトウェア、エンジニアリングワークフローにおけるシステムレベルのボトル neck が原因で、機械学習の理論的期待と実世界の実装の間のギャップが拡大しているため、これを是正すること。
• 機械学習とシステム分野の両方の知見を統合したフルスタックのMLシステムに注力する、新たな研究コミュニティを育成すること。
• 予測精度を超えた実用的課題、例えばコスト、レイテンシ、公平性、プライバシー、解釈可能性、アクセシビリティを扱うこと。
• 機械学習とシステム分野の両方の専門家がバランスよく参加する、MLとシステム分野の研究が活発に展開できる専用のフォーラム—MLSys—を創出すること。
• トップクラスの会議を模範とし、きびしい選別プロセスとアーティファクト評価を通じて、再現可能性を促進し、MLシステム分野の研究を迅速に前進させること。

提案手法

• 機械学習とシステム分野の研究者が均等に参加するプログラム委員会を備えた、新しい会議MLSysを設立し、学際的レビューを確保する。
• 会議の焦点を、機械学習とシステム分野の交差分野に限定し、広範な機械学習やシステム専門の論文は除外する。
• 機械学習とシステム分野の主要会議を模範として、きびしい選別プロセスを採用する。
• 再現可能性を確保し、MLシステム分野の研究を加速するために、アーティファクト評価を統合する。
• 主な機械学習およびシステム会議（例：NeurIPS、OSDI、SIGMOD）におけるサテライトワークショップの成功事例を活用し、信頼性と勢いを築く。
• 学術界および産業界の主要リーダーが参加するステアリング委員会を設立し、会議のビジョンと長期的持続可能性を指導する。

実験結果

リサーチクエスチョン

• RQ1 機械学習とシステム分野の研究コミュニティの間の溝を効果的に橋渡しする、持続可能な学際的研究フォーラムをどのように構築できるか？
• RQ2 スケールでのMLシステムの実装における、コスト、レイテンシ、公平性、耐障害性を含む、主なフルスタックの課題は何か？
• RQ3 高パフォーマンスと信頼性を維持しながら、非専門家にとっても使いやすいMLシステムはどのように設計できるか？
• RQ4 アーティファクト評価と再現性は、MLシステム分野の研究を加速するために果たす役割は何か？
• RQ5 システム分野と機械学習分野の研究を初期段階から統合する際、どのような設計原則とベストプラクティスが浮き彫りになるか？

主な発見

• MLSysの創設により、機械学習とシステム分野の交差分野における学際的で専用の研究フォーラムが確立された。
• 会議は、機械学習とシステム分野の専門家が均等に参加する、強力でバランスの取れたプログラム委員会を獲得した。
• MLSysは、機械学習とシステム分野のトップクラス会議に準拠した、きびしい選別プロセスを採用している。
• アーティファクト評価の導入により、再現性が促進され、MLシステム分野の研究が加速している。
• Jeff Dean、Yann LeCun、Michael I. Jordanを含む、両分野における主要人物からの支援が得られている。
• 会議は、ハードウェアアクセラレーションから倫理的配備まで、フルスタックのMLシステム課題を解決する中心的ハブとなる位置づけとなっている。