[논문 리뷰] JLQCD IroIro++ lattice code on BG/Q

Guido Cossu, Jun Noaki외 5명|arXiv (Cornell University)|2013. 11. 01.

Particle physics theoretical and experimental studies참고 문헌 2인용 수 10

한 줄 요약

이 논문은 고도로 유지보수 가능하고 이식 가능하며 성능이 뛰어난 이종 아키텍처 간 이식성을 확보하기 위해 설계된 C++ 기반 객체지향 라티스 양자색역학 시뮬레이션 프레임워크인 IroIro++를 제시한다. IBM Blue Gene/Q에서 커스터마이징된 저수준 라이브러리(BGNET, BGQThreads), BFM 통합 및 세밀한 스레딩을 통해 최적화된 성능을 달성하였으며, 16개의 스레드를 사용한 도메인 월 페르미온 시뮬레이션에서 노드당 최대 27.56 GFlops/s의 성능을 기록하였다. 또한 다중 플랫폼 지원 및 향후 알고리즘 확장성 유지를 위한 확장성도 유지하고 있다.

ABSTRACT

We describe our experience on the multipurpose C++ code IroIro++ designed for JLQCD to run on the BG/Q installation at KEK. We discuss some details on the performance improvements specific for the IBM Blue Gene Q.

연구 동기 및 목표

• 현대 슈퍼컴퓨터에서 라티스 양자색역학 시뮬레이션에 사용되는 전통적 FORTRAN 코드의 복잡성과 유지보수 곤경을 해결하기 위해.
• 물리적 개념을 구현 세부 사항에서 분리하여 이식성, 확장성, 유지보수 용이성을 확보한 시뮬레이션 프레임워크를 설계하기 위해.
• 코드 수정 없이도 사용자 수준에서 설정을 가능하게 하기 위해 XML 기반의 시뮬레이션 동작 제어를 통해 런타임 설정을 가능하게 하기 위해.
• IBM Blue Gene/Q에서 아키텍처 특화 라이브러리와 BFM(BiCGStab FMA 최적화 커널) 통합을 통해 성능을 최적화하기 위해.
• 대규모 시뮬레이션을 위한 다양한 페르미온 액션, 해법기, 관측량을 지원하기 위해, 특히 Nf=2+1 도메인 월 페르미온을 포함하여.

제안 방법

• Chroma에서 영감을 얻은 디자인 패턴을 적용한 객체지향 C++를 채택하여 필드, 액션, 디랙 연산자, 해법기, 궤적 등을 추상화하기 위해.
• MPI, BGNET 또는 단일 코어 실행을 추상화하는 커뮤니케이션 레이어를 포함한 계층적 소프트웨어 아키텍처를 구현하기 위해.
• IBM 일본에서 개발한 최적화된 라이브러리 통합: 저지연 커뮤니케이션을 위한 BGNET, SMT 인식 스레딩을 위한 BGQThreads, 최적화된 BLAS 커널.
• 고성능 선형 대수 연산, 특히 공액 경사법 해법기를 위한 BFM(BiCGStab FMA 최적화) 커널 통합.
• 재컴파일 없이도 런타임에 시뮬레이션 파라미터, 액션, 관측량을 제어하기 위해 XML 기반 설정 사용.
• 세밀한 스레딩과 하이브리드 MPI+OpenMP 병렬 처리를 적용하고, BG/Q에서 스레드 수에 따른 성능 튜닝을 수행함.

실험 결과

연구 질문

• RQ1 복잡한 알고리즘과 다양한 아키텍처를 지원할 수 있는 현대적이고 유지보수 용이하며 이식 가능한 라티스 양자색역학 시뮬레이션 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 도메인 월 페르미온을 사용할 때 Blue Gene/Q에서 HMC 시뮬레이션에서 발생하는 성능 저하 요인은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 BFM 최적화 커널과 IBM의 저수준 라이브러리가 라티스 QCD 시뮬레이션에서 BG/Q에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 스레드 수가 다중 수준 해법기 및 힘 계산에서 성능에 미치는 영향은 어떠한가, 특히 하제누스프리컨dition링을 적용한 RHMC에서의 경우는?
• RQ5 대규모 HMC 시뮬레이션에서 커뮤니케이션 오버헤드, 동기화 오버헤드, 계산 효율성 간의 주요 성능 트레이드오프는 무엇인가?

주요 결과

• IroIro++는 16개 스레드를 사용한 이중 페르미온 도메인 월 시뮬레이션에서 노드당 최대 27.56 GFlops/s의 성능을 기록하였으며, 이 중 87%의 시간이 공액 경사법 해법기에 소요되었다.
• 공액 경사법 해법기는 노드당 20 GFlops/s 이상을 달성하여 BFM의 최고 효율성에 도달할 잠재력이 높음을 시사한다.
• 힘 계산에서 스레드 수 증가에 따라 성능 저하가 발생하며, 이는 스레딩이 완전히 이루어지지 않은 탓이며, 특히 표본 3의 유리함수 근사 항목(P-1)에서 두드러진다. 이는 전체 스케일링에 제약을 가한다.
• 최고의 공액 경사법 성능은 최대 스레드 수(예: 64개 스레드)에서 발생하며, 이는 MPI 커뮤니케이션과 장벽 오버헤드를 최소화하기 때문이다.
• 2048노드 RHMC 실행에서 2+1 페르미온을 사용한 경우, 전체 성능은 노드당 약 15 GFlops/s(입출력 포함 13 GFlops/s)에 도달하였으며, 공액 경사법만으로도 노드당 20 GFlops/s를 달성하였다.
• 이 코드는 현재 Nf=2+1 도메인 월 페르미온 시뮬레이션을 위한 프로덕션 수준이며, 향후 문서 및 테스트 세트 개선 후 공개 예정인 활발한 개발 중이다.