[論文レビュー] Launchpad: A Programming Model for Distributed Machine Learning Research

Fan Yang, Gabriel Barth-Maron+6 more|arXiv (Cornell University)|Jun 7, 2021

Data Stream Mining Techniques参考文献 18被引用数 5

ひとこと要約

Launchpad は、計算をリモートプロシージャコール (RPC) を介して接続されたサービスノードの有向グラフとして表現することにより、分散機械学習システムの設計およびデプロイを簡素化するプログラミングモデルです。プログラム定義と実行を分離することで、最小限のボイラープレートと明確な通信トポロジーを伴い、ポータブルでモジュラーかつスケーラブルな複雑なアルゴリズム（例：エージェント・ラーナー強化学習や進化戦略）の実装を可能にします。

ABSTRACT

A major driver behind the success of modern machine learning algorithms has been their ability to process ever-larger amounts of data. As a result, the use of distributed systems in both research and production has become increasingly prevalent as a means to scale to this growing data. At the same time, however, distributing the learning process can drastically complicate the implementation of even simple algorithms. This is especially problematic as many machine learning practitioners are not well-versed in the design of distributed systems, let alone those that have complicated communication topologies. In this work we introduce Launchpad, a programming model that simplifies the process of defining and launching distributed systems that is specifically tailored towards a machine learning audience. We describe our framework, its design philosophy and implementation, and give a number of examples of common learning algorithms whose designs are greatly simplified by this approach.

研究の動機と目的

• 分散機械学習システムの実装の複雑さ、特に分散システム設計に不慣れな研究者にとっての課題に対処すること。
• プログラム定義と実行起動メカニズムを分離する高水準で合成可能な抽象化を提供すること。
• 現代の機械学習ワークロードに一般的な、エージェント・ラーナーアーキテクチャーやパラメータ進化のような複雑な通信トポロジーの指定を簡素化すること。
• プラグイン可能なランチャーベースで、ローカルマシン、クラウド、オンプレミスクラスタを含む多様な環境間で実行をポータブルに可能にすること。
• パフォーマンスと拡張性を維持しながら、ボイラープレートやエラーを引き起こしやすい低レベルの通信設定を削減すること。

提案手法

• 分散プログラムを、エッジがリモートプロシージャコール (RPC) を介した通信を表すサービスノードの有向グラフとして表現する。
• 異なるデプロイ環境に対応するためのプラグイン可能なランチャーサブシステムを介して、プログラム定義（グラフ構造）と実行を分離する。
• gRPC をベースにした通信レイヤーとカスタム抽象化を用いることで、低遅延かつ信頼性の高いノード間通信を実現する。
• 計算および通信ロジックをカプセル化する Python クラスとしてノードを定義し、ノードハンドルを介した明示的な依存関係解決を実装する。
• 共通の中央集約グラフ定義を用いて、エージェント、ラーナー、評価者、パラメータサーバーなどのコンponents をモジュラーに組み合わせる。
• ノードを別々のプロセスやスレッドで実行可能にすることで非同期かつ並列実行を可能にし、グラフと RPC を介した調整を管理する。

実験結果

リサーチクエスチョン

• RQ1 パフォーマンスやポータビリティを損なわず、機械学習研究における複雑な分散通信トポロジーの指定をどのように簡素化できるか？
• RQ2 分散システムの専門知識がなくても、分散機械学習システムの記述における認知的負荷と実装の煩わしさをどのように軽減できるか？
• RQ3 高水準でグラフベースのプログラミングモデルは、エージェント・ラーナー型や進化戦略といった一般的な機械学習パターンを効率的かつ拡張可能に表現できるか？
• RQ4 プログラム定義をデプロイ環境から分離することで、コード変更を最小限に抑え、単一マシン、クラウド、クラスタ環境での実行を可能にする方法は何か？
• RQ5 このようなモデルは、分散機械学習システムにおけるボイラープレートやエラーを引き起こしやすい通信ロジックをどの程度削減できるか？

主な発見

• Launchpad により、エージェント・ラーナー強化学習や進化戦略といった複雑な分散機械学習アルゴリズムの実装が、著しくコードの複雑さが低減され、より明確なプログラム構造で実現できるようになった。
• グラフベースのモデルにより、通信トポロジーが明示的かつ合成可能となり、アドホックな RPC やフレームワーク内埋め込み通信に比べ、可読性と保守性が向上した。
• プログラム定義とランチャの分離により、同じプログラムがローカル開発環境、クラウドプラットフォーム、オンプレミスクラスタなど多様な環境に容易にデプロイ可能となった。
• gRPC と軽量な抽象化レイヤーに依存することで、Launchpad は手動で実装した RPC システムと同等の低通信オーバーヘッドとパフォーマンスを維持した。
• グラフで定義されたトポロジーに従って複数のアクターノードを同時に実行可能にすることで、強化学習におけるデータ収集の効率的並列化が可能になった。
• API の設計により、循環的依存の発生を抑制し、明確さとランタイムのリスク低減を図ったが、延期設定により循環グラフの許容も可能とした。