[논문 리뷰] CLEX: Yet Another Supercomputer Architecture?

Christoph Lenzen, Roger Wattenhofer|arXiv (Cornell University)|2016. 07. 01.

Interconnection Networks and Systems참고 문헌 15인용 수 3

한 줄 요약

CLEX는 $ n^\varepsilon $ 노드 차수를 갖는 계층적 클리크 기반 아키텍처를 활용하여 near-optimal 대역폭 활용도와 낮은 통신 지연을 달성하는 새로운 슈퍼컴퓨터 상호연결 구조와 라우팅 기법을 제안한다. 이는 전통적인 3D 토러스 네트워크보다 백플레인 대역폭 활용도를 최소 10배 향상시키고, 백만 노드 시스템에서 평균 경로 길이를 5배 감소시키며, 死체크 없는, 고장 내성적이고 확장 가능한 통신을 보장한다.

ABSTRACT

We propose the CLEX supercomputer topology and routing scheme. We prove that CLEX can utilize a constant fraction of the total bandwidth for point-to-point communication, at delays proportional to the sum of the number of intermediate hops and the maximum physical distance between any two nodes. Moreover, % applying an asymmetric bandwidth assignment to the links, all-to-all communication can be realized $(1+o(1))$-optimally both with regard to bandwidth and delays. This is achieved at node degrees of $n^{\varepsilon}$, for an arbitrary small constant $\varepsilon\in (0,1]$. In contrast, these results are impossible in any network featuring constant or polylogarithmic node degrees. Through simulation, we assess the benefits of an implementation of the proposed communication strategy. Our results indicate that, for a million processors, CLEX can increase bandwidth utilization and reduce average routing path length by at least factors $10$ respectively $5$ in comparison to a torus network. Furthermore, the CLEX communication scheme features several other properties, such as deadlock-freedom, inherent fault-tolerance, and canonical partition into smaller subsystems.

연구 동기 및 목표

• 현재 슈퍼컴퓨터 인터커넥트의 근본적 한계, 특히 스케일이 증가할수록 낮은 바이섹션 대역폭과 높은 통신 지연을 겪는 3D 토러스의 문제를 해결한다.
• 낮은 노드 차수와 짧은 라우팅 경로 사이의 상충 관계를 극복하기 위해, 상수 또는 다중로그 차수에 의존하지 않고도 높은 연결성과 짧은 경로를 가능하게 하는 토폴로지를 설계한다.
• 네트워크의 여유를 활용하여 고장 발생 시에도 안정적인 라우팅을 보장하는 실용적이고 분산형, 고장 내성적인 라우팅 기법을 개발한다.
• 신호 전파 지연과 링크 길이 등의 물리적 제약 조건을 이론적 성능 분석에 통합하여, 단순한 홉 수 기반 모델을 넘어서는 분석을 수행한다.
• 계층적, 확장자 기반 토폴로지가 대규모 시스템에서 near-optimal 전지전능 및 포인트 투 포인트 통신 성능을 달성할 수 있음을 입증한다.

제안 방법

• 다중 수준의 클리크와 확장자를 조합한 계층적 상호연결 토폴로지인 CLEX (CLique-EXpander)를 제안하여 높은 연결성과 짧은 경로를 실현한다.
• 평균 메시지 홉 수에 기반해 수준 간에 대역폭을 동적으로 할당하는 분산형, 적응형 라우팅 알고리즘을 설계하여 하위 수준에서 높은 처리량을 우선시한다.
• 통신 지연을 홉 수와 물리적 거리의 함수로 모델링하여, 신호 전파 지연을 성능 분석에 통합한다.
• CLEX 토폴로지가 내재한 여유를 활용해 고장 난 노드나 링크를 자동으로 우회하는 고장 내성적 라우팅 메커니즘을 구현한다.
• 대규모 구성(예: 32^4 및 64^3 노드)에서 시뮬레이션을 수행하여, 동일한 트래픽 패턴 하에서 CLEX를 3D 토러스와 비교 평가한다.
• 일반적인 통신 패턴, 특히 전지전능 및 포인트 투 포인트 트래픽을 고려해 수준 간 비대칭 대역폭 할당을 적용하여 최적화한다.

실험 결과

연구 질문

• RQ1 노드 차수가 $ n^\varepsilon $로 증가하는 경우, 임의로 작은 $ \varepsilon > 0 $ 에 대해 상수 요소 최적의 포인트 투 포인트 대역폭 활용도를 달성할 수 있는가?
• RQ2 물리적 신호 전파 지연을 고려할 때, 높은 연결성과 작은 지름을 갖는 토폴로지는 통신 지연을 얼마나 줄일 수 있는가?
• RQ3 실제 비이상적인 라우팅 조건 하에서, CLEX 기반 인터커넥트의 효과적 대역폭과 평균 경로 길이는 3D 토러스와 비교해 어떻게 되는가?
• RQ4 중앙 집중식 제어 없이도 고연결성 토폴로지인 CLEX에 대해 분산형, 死체크 없는, 고장 내성적인 라우팅 기법을 설계할 수 있는가?
• RQ5 수준 간 계층적 대역폭 할당이 대규모 시스템에서 전지전능 통신 효율성을 상당히 향상시키는가?

주요 결과

• CLEX는 대역폭과 지연 측면에서 모두 $ (1+o(1)) $-최적의 전지전능 통신 성능을 달성하며, 낮은 노드 차수로도 이 효율성을 달성할 수 없는 기존 토폴로지보다 뛰어나다.
• 백만 노드 시스템에서 CLEX는 3D 토러스 네트워크 대비 효과적 포인트 투 포인트 대역폭 활용도를 최소 10배 향상시킨다.
• 실제 비이상적인 라우팅 조건 하에서도 CLEX의 평균 라우팅 경로 길이는 3D 토러스 대비 최소 5배 감소한다.
• 경량 트래픽 환경에서는 CLEX의 평균 메시지 지연이 물리적 최소 지연의 약 1.8~2.3배로 줄어들며, 토러스 네트워크의 상당히 높은 수준보다 유의미하게 낮다.
• CLEX 라우팅 기법은 본질적으로 死체크가 없으며, 노드나 링크 고장 시에도 여유 라우팅 경로를 통해 원활한 고장 내성성을 보장한다.
• 시뮬레이션 결과 CLEX는 32^4 및 64^3 노드 시스템을 포함한 다양한 구성에서 고성능을 유지하며, 대역폭 및 지연 지표에서 뚜렷한 향상을 보였다.