[論文レビュー] Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning

Xiang Ni, Jing Li+3 more|arXiv (Cornell University)|Nov 19, 2019

Caching and Content Delivery参考文献 26被引用数 4

ひとこと要約

本論文は、ストリーム処理システムにおける一般化可能なリソース割り当てを実現するためのグラフに配慮した深層強化学習（DRL）フレームワークを提案する。グラフ埋め込みを用いて構造的特性を捉え、文脈に配慮したデコーダーを用いてデバイスへの割り当てを生成することで、訓練時に未確認のストリームグラフの70％でMETISおよびLSTMベースのベースラインを上回り、新しいトポロジーへの強力な一般化性能を示している。

ABSTRACT

This paper considers the problem of resource allocation in stream processing, where continuous data flows must be processed in real time in a large distributed system. To maximize system throughput, the resource allocation strategy that partitions the computation tasks of a stream processing graph onto computing devices must simultaneously balance workload distribution and minimize communication. Since this problem of graph partitioning is known to be NP-complete yet crucial to practical streaming systems, many heuristic-based algorithms have been developed to find reasonably good solutions. In this paper, we present a graph-aware encoder-decoder framework to learn a generalizable resource allocation strategy that can properly distribute computation tasks of stream processing graphs unobserved from training data. We, for the first time, propose to leverage graph embedding to learn the structural information of the stream processing graphs. Jointly trained with the graph-aware decoder using deep reinforcement learning, our approach can effectively find optimized solutions for unseen graphs. Our experiments show that the proposed model outperforms both METIS, a state-of-the-art graph partitioning algorithm, and an LSTM-based encoder-decoder model, in about 70% of the test cases.

研究の動機と目的

• トレーニング時に未確認の多様なグラフ構造を持つストリーム処理システムにおける一般化可能なリソース割り当ての課題に対処すること。
• 最適なパーティション数の選定に苦労し、多様なグラフトポロジーに一般化できないヒューリスティックベースのグラフ分割ツール（例：METIS）の限界を克服すること。
• ストリーム処理DAGにおけるオペレータからデバイスへのマッピングのための転送可能な方策を学習する深層強化学習モデルの開発。
• 計算ワークロード、通信コスト、デバイスの負荷バランスの複雑な依存関係を構造的な状態表現を通じて捉えること。
• 再トレーニングなしで未確認のストリームグラフに一般化可能なリソース割り当て方策のエンドツーエンド学習を可能にすること。

提案手法

• ストリーム処理グラフの構造的特徴およびワークロード特性を符号化するノードレベルおよびグローバルなグラフ埋め込みを学習するため、グラフ自己符号化器にグラフ注意ネットワーク（GAT）を採用する。
• 部分的な割り当てとグローバルなグラフ表現の両方に注目するグラフに配慮したデコーダーを設計し、オペレータ間の依存関係をモデル化する。
• リソース割り当て問題を、エージェントが順次オペレータのデバイス割り当てを選択して長期的なスループットを最大化する強化学習における逐次的意思決定プロセスとして定式化する。
• 負荷分散を最適化し、デバイス間通信を最小限に抑えるための密度の高い報酬関数を用いて、エンコーダ・デコーダモデルを統合的に学習する。
• シミュレートされたストリーム処理ワークロードからのパフォーマンスフィードバックに基づき、方策最適化のためのポリシー勾配法（例：PPOまたはA3C）を用いる。
• クリティカルパス長や総通信コストなどのグラフレベルのグローバル特徴を状態表現に統合し、パフォーマンスに配慮した方策の学習を支援する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、多様で未確認のストリーム処理グラフトポロジーに一般化可能なリソース割り当て方策を学習できるか？
• RQ2 手作業で作成した特徴や順序特徴と比較して、グラフ埋め込みはストリームグラフの構造的およびワークロード関連特徴をどのように改善して表現できるか？
• RQ3 標準的なシーケンス・トゥ・シーケンスモデルと比較して、グラフに配慮したデコーダーはオペレータ間の複雑な依存関係のモデル化においてどの程度優れているか？
• RQ4 提案されたDRLベースのアプローチは、未観測のグラフにおいて、METIS やシーケンスベースのモデルと比較してより優れた一般化性能を示すか？
• RQ5 グラフエンコーダーとDRLポリシーの共同学習は、リアルタイムのストリーム処理において負荷バランスと通信の最小化をどの程度効果的に実現できるか？

主な発見

• 提案されたDRLフレームワークは、未確認のストリームグラフの70％でMETISグラフ分割ライブラリを上回り、優れた一般化性能を示している。
• 未観測のグラフの70％でLSTMベースのエンコーダ・デコーダベースラインよりも高いシステムスループットを達成しており、グラフに配慮したモデリングの利点が顕著に現れている。
• グラフ埋め込みは、ストリーム処理グラフの構造的およびワークロード関連特徴を効果的に捉えており、順序的または手作業で作成した特徴よりも優れた状態表現を可能にしている。
• グラフに配慮したデコーダーは、標準的なシーケンスモデルと比較して、オペレータ間の依存関係およびデバイス割り当て制約のモデル化を著しく改善している。
• グラフエンコーダーとDRLポリシーの共同学習により、再トレーニングなしで多様なグラフトポロジーに一般化可能な転送可能な戦略を学習できるようになっている。
• フレームワークは、ワークロードの分配を適切にバランスさせるとともに、デバイス間通信を最小限に抑え、リアルタイムのストリーム処理ワークロードにおけるエンドツーエンドスループットを向上させている。