[论文解读] Desynchronization and Speedup in an Asynchronous Conservative Parallel Update Protocol

A. Kolakowska, M. A. Novotny|ArXiv.org|Sep 16, 2004

Parallel Computing and Optimization Techniques参考文献 30被引用 3

一句话总结

本文将非平衡表面生长理论应用于建模环形拓扑中异步保守PDES算法的虚拟时间窗口（VTH），表明去同步化增长呈次线性，利用率保持有上界，从而证明了可扩展性。该方法揭示了加速比和内存使用量的理论上限，使得可调节、内存高效的PDES算法设计成为可能，且去同步化可控。

ABSTRACT

In a state-update protocol for a system of $L$ asynchronous parallel processes that communicate only with nearest neighbors, global desynchronization in operation times can be deduced from kinetic roughening of the corresponding virtual-time horizon (VTH). The utilization of the parallel processing environment can be deduced by analyzing the microscopic structure of the VTH. We give an overview of how the methods of non-equilibrium surface growth (physics of complex systems) can be applied to uncover some properties of state update algorithms used in distributed parallel discrete-event simulations (PDES). In particular, we focus on the asynchronous conservative PDES algorithm in a ring communication topology. The time evolution of its VTH is simulated numerically as asynchronous cellular automaton whose update rule corresponds to the update rule followed by this algorithm. We give theoretical estimates of the performance as a function of $L$ and the load per processor, i.e., approximate formulas for the mean speedup and for the desynchronization. It is established that, for a given simulation size, there is a theoretical upper bound for the desynchronization and a theoretical non-zero lower bound for the utilization. The new approach to performance studies, outlined in this chapter, is particularly useful in the search for the design of a new-generation of algorithms that would efficiently carry out an autonomous or tunable synchronization.

研究动机与目标

• 使用非平衡表面生长模型分析环形通信拓扑中异步保守PDES的性能。
• 确定随着处理器数量增加，保守PDES算法是否能实现高效可扩展。
• 基于虚拟时间窗口（VTH）的统计特性，推导内存使用量和加速比的理论边界。
• 通过控制VTH宽度和去同步化，实现可调节或自主同步机制的设计。
• 提供一种受物理启发的框架，用于评估和改进PDES算法效率，而无需依赖特定应用的基准测试。

提出的方法

• 将虚拟时间窗口（VTH）的时间演化模拟为异步细胞自动机，其中每个单元代表一个处理器的本地虚拟时间（LVT）。
• 将保守PDES算法的更新规则建模为VTH上的随机生长规则，反映因果性约束和消息传递机制。
• 通过分析VTH的动力学粗糙化，量化每个处理器的去同步化程度和内存需求。
• 利用非平衡表面生长理论中的标度律，特别是针对每处理器最小负载和一般有限负载两种情况，推导利用率和加速比的理论估计值。
• 将保守算法的行为与乐观PDES进行对比，表明后者因VTH宽度无控制地增长而导致去同步化无界。
• 将VTH用作诊断工具，预测性能和内存使用量的上界，从而指导算法设计与硬件评估。

实验结果

研究问题

• RQ1 在环形拓扑中，异步保守PDES算法的虚拟时间窗口（VTH）如何演化？
• RQ2 对于有限系统，保守PDES在内存使用量和去同步化方面是否存在理论极限？
• RQ3 随着处理器数量增加，保守PDES算法在利用率和加速比方面是否表现出可扩展性？
• RQ4 VTH宽度如何随时间增长，这对每个处理器的内存需求有何影响？
• RQ5 VTH模型能否用于设计可调节或自主的PDES同步机制？

主要发现

• 在环形拓扑中，保守PDES算法表现出可扩展性能，即使处理器数量增加，其利用率仍被非零值所下界约束。
• 去同步化（以VTH宽度衡量）呈次线性增长，且在有限系统中保持有界，表明每个处理器的内存需求不会发散。
• 推导出加速比的理论上限，并在理想条件下证明其可实现，为实际实现提供了基准参考。
• 与保守情况相反，乐观PDES算法表现出与模拟时间平方根成比例的VTH宽度无界增长，意味着内存需求无界。
• VTH模型可推导出显式的性能评估诊断公式，如用于加速比的公式(12-13)和用于内存请求的公式(17)。
• 该方法支持新算法的设计（如受限保守型或小世界增强环形拓扑），通过控制VTH宽度来调节去同步化程度和内存使用量。