[논문 리뷰] Desynchronization and Speedup in an Asynchronous Conservative Parallel Update Protocol

A. Kolakowska, M. A. Novotny|ArXiv.org|2004. 09. 16.

Parallel Computing and Optimization Techniques참고 문헌 30인용 수 3

한 줄 요약

이 논문은 비평형 표면 성장 이론을 적용하여 고리형 토폴로지에서 이종성 보존 PDES 알고리즘의 가상 시간 수평선(VTH)을 모델링하며, 이로 인해 비동기화가 비선형적으로 증가하고 활용도는 상한선을 유지함을 보여주어 확장성의 증명을 한다. 이 방법은 속도 향상과 메모리 사용에 대한 이론적 상한선을 드러내어 제어 가능한 비동기화를 갖는 메모리 효율적인 PDES 알고리즘 설계를 가능하게 한다.

ABSTRACT

In a state-update protocol for a system of $L$ asynchronous parallel processes that communicate only with nearest neighbors, global desynchronization in operation times can be deduced from kinetic roughening of the corresponding virtual-time horizon (VTH). The utilization of the parallel processing environment can be deduced by analyzing the microscopic structure of the VTH. We give an overview of how the methods of non-equilibrium surface growth (physics of complex systems) can be applied to uncover some properties of state update algorithms used in distributed parallel discrete-event simulations (PDES). In particular, we focus on the asynchronous conservative PDES algorithm in a ring communication topology. The time evolution of its VTH is simulated numerically as asynchronous cellular automaton whose update rule corresponds to the update rule followed by this algorithm. We give theoretical estimates of the performance as a function of $L$ and the load per processor, i.e., approximate formulas for the mean speedup and for the desynchronization. It is established that, for a given simulation size, there is a theoretical upper bound for the desynchronization and a theoretical non-zero lower bound for the utilization. The new approach to performance studies, outlined in this chapter, is particularly useful in the search for the design of a new-generation of algorithms that would efficiently carry out an autonomous or tunable synchronization.

연구 동기 및 목표

• 비평형 표면 성장 모델을 사용하여 고리형 통신 토폴로지에서 이종성 보존 PDES의 성능을 분석한다.
• 프로세서 수가 증가함에 따라 보존 PDES 알고리즘이 효율적으로 확장되는지 확인한다.
• 가상 시간 수평선(VTH)의 통계적 성질을 바탕으로 메모리 사용과 속도 향상에 대한 이론적 상한선을 유도한다.
• VTH 폭과 비동기화를 제어함으로써 조정 가능한 또는 자율적인 동기화 메커니즘 설계를 가능하게 한다.
• 응용 프로그램에 특화된 벤치마크에 의존하지 않고 PDES 알고리즘의 효율성 평가와 향상을 위한 물리학 기반의 프레임워크를 제공한다.

제안 방법

• 각 셀이 프로세서의 로컬 가상 시간(LVT)을 나타내는 이종성 셀룰라 오토마타로써, 가상 시간 수평선(VTH)의 시간 진화를 시뮬레이션한다.
• 보존 PDES 알고리즘의 업데이트 규칙을 VTH 상의 확률적 성장 규칙으로 모델링하여 인과성 제약 조건과 메시지 전달을 반영한다.
• VTH의 동적 거칠기 분석을 통해 비동기화와 프로세서당 메모리 요구량을 정량화한다.
• 비평형 표면 성장의 스케일링 법칙을 사용하여 활용도와 속도 향상에 대한 이론적 추정치를 도출하며, 특히 최소 및 일반적인 유한한 로드 케이스에 대해 분석한다.
• 보존 알고리즘의 행동을 낙관적 PDES와 비교하여, 후자의 경우 통제되지 않은 VTH 폭 증가로 인해 비동기화가 무한대로 증가함을 보여준다.
• VTH를 성능과 메모리 사용의 상한선 예측을 위한 진단 도구로 사용하여 알고리즘 설계 및 하드웨어 평가에 정보를 제공한다.

실험 결과

연구 질문

• RQ1 고리형 토폴로지에서 이종성 보존 PDES 알고리즘에서 가상 시간 수평선(VTH)은 어떻게 진화하는가?
• RQ2 유한한 시스템에서 보존 PDES의 메모리 사용과 비동기화에 대한 이론적 한계는 무엇인가?
• RQ3 프로세서 수가 증가함에 따라 보존 PDES 알고리즘이 활용도와 속도 향상 측면에서 확장성을 보이는가?
• RQ4 VTH 폭은 시간이 지남에 따라 어떻게 증가하며, 이는 프로세서당 메모리 요구량에 어떤 의미를 갖는가?
• RQ5 VTH 모델을 사용하여 PDES에서 조정 가능한 또는 자율적인 동기화 메커니즘을 설계할 수 있는가?

주요 결과

• 보존 PDES 알고리즘은 고리형 토폴로지에서 확장 가능한 성능을 보이며, 프로세서 수가 증가함에 따라 비영이 아닌 값으로 활용도가 하한선을 유지한다.
• 비동기화는 VTH 폭으로 측정되며, 비선형적으로 증가하고 유한한 시스템에서는 유한하게 유지되어 프로세서당 메모리 요구량이 발산하지 않음을 시사한다.
• 이론적 상한선으로서의 속도 향상은 유도되었으며, 이상적인 조건에서 달성 가능함을 입증하여 실제 구현의 기준이 된다.
• 보존 케이스와는 대조적으로, 낙관적 PDES 알고리즘은 시뮬레이션 시간의 제곱근 비례로 VTH 폭이 무한히 증가함을 보여주며, 이는 무한한 메모리 수요를 암시한다.
• VTH 모델을 통해 성능 평가를 위한 명시적 진단 공식을 도출할 수 있으며, 특히 Eq.(12-13)은 속도 향상, Eq.(17)은 메모리 요청에 해당한다.
• 이 접근법은 VTH 폭을 제어함으로써 비동기화와 메모리 사용을 조절할 수 있어, 제약 있는 보존 또는 소월드 향상 고리형 토폴로지 등의 새로운 알고리즘 설계를 지원한다.