[论文解读] Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning

Xiang Ni, Jing Li+3 more|arXiv (Cornell University)|Nov 19, 2019

Caching and Content Delivery参考文献 26被引用 4

一句话总结

本文提出了一种图感知的深度强化学习（DRL）框架，用于流处理系统中可泛化的资源分配。通过利用图嵌入捕捉结构特性，并采用上下文感知解码器生成设备分配，该模型在70%的未见过的流图上优于METIS和基于LSTM的基线方法，展现出对新型拓扑的强大泛化能力。

ABSTRACT

This paper considers the problem of resource allocation in stream processing, where continuous data flows must be processed in real time in a large distributed system. To maximize system throughput, the resource allocation strategy that partitions the computation tasks of a stream processing graph onto computing devices must simultaneously balance workload distribution and minimize communication. Since this problem of graph partitioning is known to be NP-complete yet crucial to practical streaming systems, many heuristic-based algorithms have been developed to find reasonably good solutions. In this paper, we present a graph-aware encoder-decoder framework to learn a generalizable resource allocation strategy that can properly distribute computation tasks of stream processing graphs unobserved from training data. We, for the first time, propose to leverage graph embedding to learn the structural information of the stream processing graphs. Jointly trained with the graph-aware decoder using deep reinforcement learning, our approach can effectively find optimized solutions for unseen graphs. Our experiments show that the proposed model outperforms both METIS, a state-of-the-art graph partitioning algorithm, and an LSTM-based encoder-decoder model, in about 70% of the test cases.

研究动机与目标

• 解决流处理系统中资源分配可泛化性问题，其中图结构差异大且在训练期间未见过。
• 克服基于启发式的图划分工具（如METIS）的局限性，后者在最优划分数量选择方面表现不佳，且在不同图拓扑间缺乏泛化能力。
• 开发一种深度强化学习模型，学习流处理DAG中算子到设备映射的可迁移策略。
• 通过结构化状态表示捕捉计算工作负载、通信开销和设备负载均衡之间的复杂依赖关系。
• 实现端到端的资源分配策略学习，使模型在无需微调的情况下泛化到未见过的流图。

提出的方法

• 采用带有图注意力网络（GAT）的图自编码器，学习节点级和全局图嵌入，以编码流处理图的结构和工作负载特征。
• 设计一种图感知解码器，按顺序生成设备分配，同时关注当前部分分配和全局图表示，以建模算子间的依赖关系。
• 将资源分配问题形式化为DRL中的序列决策过程，其中智能体逐个选择算子的设备分配，以最大化长期吞吐量。
• 使用密集奖励函数联合训练编码器-解码器模型，通过强化学习优化策略，以平衡负载分布并最小化设备间通信。
• 采用策略梯度方法（如PPO或A3C）基于模拟流处理工作负载的性能反馈优化智能体策略。
• 将图级别的全局特征（如关键路径长度和总通信成本）整合到状态表示中，以指导性能感知策略的学习。

实验结果

研究问题

• RQ1 深度强化学习智能体能否在多样且未见过的流处理图拓扑上学习到可泛化的资源分配策略？
• RQ2 与手工设计或序列特征相比，图嵌入在捕捉流图的结构和工作负载特征方面有何改进？
• RQ3 图感知解码器在建模算子放置间的复杂依赖关系方面，相比标准序列到序列模型的性能提升程度如何？
• RQ4 与现有的图划分工具（如METIS）和序列模型相比，所提出的基于DRL的方法在未观测图上的泛化能力是否更优？
• RQ5 图嵌入与DRL策略的联合训练在实时流处理中平衡负载和最小化通信方面的有效性如何？

主要发现

• 所提出的DRL框架在70%的未见过的流图测试用例中优于METIS图划分库，证明了其优越的泛化能力。
• 在70%的未观测图上，该模型的系统吞吐量优于基于LSTM的编码器-解码器基线模型，凸显了图感知建模的优势。
• 图嵌入能有效捕捉流处理图的结构和工作负载相关特征，相比序列特征或手工设计特征，提供了更优的状态表示。
• 图感知解码器显著提升了对算子间依赖关系和设备分配约束的建模能力，优于标准序列模型。
• 图编码器与DRL策略的联合训练使模型能够学习到一种可迁移的策略，在无需微调的情况下泛化到多种图拓扑。
• 该框架成功平衡了工作负载分布并最小化了设备间通信，从而在实时流处理工作负载中实现了更高的端到端吞吐量。