[논문 리뷰] Nuclear shell-model code for massive parallel computation, "KSHELL"

Noritaka Shimizu|arXiv (Cornell University)|2013. 10. 21.

Matrix Theory and Algorithms인용 수 15

한 줄 요약

KSHELL은 OpenMP-MPI 하이브리드 병렬화를 사용하여 대규모 병렬 계산을 위한 새로운 핵 껍질모형 코드이다. 실시간 해밀토니안 행렬 생성과 M-스케일에서 두꺼운 재시작 랑츠 방법을 적용하여 높은 병렬 효율성을 확보하였으며, FX10 슈퍼컴퓨터에서 8192코어로 확장하여 1.09×10⁹차원의 고유값 문제를 145초 만에 해결하였다.

ABSTRACT

A new code for nuclear shell-model calculations, "KSHELL", is developed. It aims at carrying out both massively parallel computation and single-node computation in the same manner. We solve the Schrödinger's equation in the $M$-scheme shell-model model space, utilizing Thick-Restart Lanczos method. During the Lanczos iteration, the whole Hamiltonian matrix elements are generated "on-the-fly" in every matrix-vector multiplication. The vectors of the Lanczos method are distributed and stored on memory of each parallel node. We report that the newly developed code has high parallel efficiency on FX10 supercomputer and a PC with multi-cores.

연구 동기 및 목표

• 단일 노드 및 대규모 병렬 계산 모두를 수행할 수 있는 공개 가능하고 확장 가능한 껍질모형 코드 개발.
• MPI 노드 간 랑츠 벡터의 분산 저장을 통해 대규모 M-스케일 껍질모형 계산에서 발생하는 메모리 제약을 극복.
• 랑츠 방법에서의 재귀적 각운동량 투영을 통해 고에너지 비율라스트 상태를 효율적으로 계산.
• 점유수와 Mz 값 기반의 섹터로 M-스케일 기저를 분할하여 임의의 잘라내기 기법 지원.
• 추가 후처리 없이도 정확한 스펙트로스코픽 관측량(예: E2, M1, E1 전이 강도 및 전자기 모멘트) 제공.

제안 방법

• 다체 상태를 효율적으로 다룰 수 있도록 비트 표현을 사용한 M-스케일 형식을 사용.
• 랑츠 반복 과정 중 실시간으로 해밀토니안 행렬 원소를 생성하여 행렬-벡터 곱 연산 수행.
• 재정규화 오버헤드를 줄이고 수렴성을 향상시키기 위해 두꺼운 재시작 랑츠 방법 적용.
• 양성자 및 중성자 점유수와 Mz 양자수 기반으로 M-스케일 기저를 '파트리션'(또는 '섹터')으로 분할하여 로드 밸런싱 구현.
• 랑츠 벡터를 파티션 단위로 MPI 노드 간 분산 저장하여 메모리에 최대 약 100개의 벡터를 보관하고 빠른 재정규화를 가능하게 함.
• 특히 비율라스트 구조에 유용한 양호한 총각운동량 상태를 확보하기 위해 재귀적 랑츠 기반 투영 구현.

실험 결과

연구 질문

• RQ1 최소한의 아키텍처 변경으로도 단일 PC에서부터 수천 코어까지 효율적으로 확장 가능한 껍질모형 코드를 설계할 수 있는가?
• RQ2 랑츠 벡터를 파티션 단위로 분산 저장함으로써 대규모 M-스케일 껍질모형 계산에서 발생하는 메모리 병목 현상을 어떻게 완화할 수 있는가?
• RQ3 현대 슈퍼컴퓨터에서 실시간 행렬 생성과 하이브리드 OpenMP-MPI 병렬화를 사용한 껍질모형 코드의 성능 확장성은 어떠한가?
• RQ4 재귀적 랑츠 투영은 비율라스트 상태 계산의 정확성과 효율성을 어느 정도 향상시킬 수 있는가?
• RQ5 코드가 M-스케일 차원이 10¹⁰을 초월하는 경우에도 슈퍼컴퓨터와 일반 PC에서 모두 높은 계산 효율을 유지할 수 있는가?

주요 결과

• KSHELL은 FX10 슈퍼컴퓨터에서 8192코어까지 강한 확장성을 확보하여 1.087×10⁹차원 고유값 문제를 145초 만에 해결.
• OpenMP 스레드를 사용한 PC에서 near-perfect 강한 확장성 나타냄. 다만 하이퍼스레딩은 성능 향상에 거의 기여하지 않음.
• 랑츠 벡터를 파티션 단위로 MPI 노드 간 분산 저장함으로써 메모리 사용이 극적으로 감소하여 메인 메모리에 최대 약 100개의 벡터를 보관 가능.
• 해밀토니안 행렬 원소를 사전 계산하지 않고 실시간 생성함으로써 메모리 프로파일이 감소하며, 특히 대규모 계산에 매우 유리.
• 랑츠 반복 과정 내에서 직접 E2, M1, E1 전이 강도 및 전자기 모멘트를 계산하여 추가 후처리 필요 없음.
• KSHELL은 M-스케일 차원이 O(10¹⁰)까지 지원하며 향후 더 큰 규모로 확장 가능하며, 대화형 Python 인터페이스를 제공하는 공개 코드임.