[논문 리뷰] Simulation of high temperature superconductors and experimental validation

Marc Olm, Santiago Badia외 1명|arXiv (Cornell University)|2017. 07. 31.

Advanced Numerical Methods in Computational Mathematics참고 문헌 58인용 수 20

한 줄 요약

이 논문은 고성능 계산(HPC) 플랫폼에서 고온 초전도체(HTS)의 저주파 전자기 반응을 시뮬레이션하기 위해 H-형식과 Nédélec 요소를 기반으로 한 병렬적이고 적응형 유한요소 프레임워크를 제시한다. h-적응 메시 세분화와 맞춤형 병렬 비선형 솔버를 통해 해를 구하는 데까지의 시간에서 최대 52.5배의 성능 향상을 달성하였으며, 실험 데이터와 3차원 벤치마크와의 검증을 통해 타당성을 입증하였다.

ABSTRACT

In this work, we present a parallel, fully-distributed finite element numerical framework to simulate the low-frequency electromagnetic response of superconducting devices, which allows to efficiently exploit HPC platforms. We select the so-called H-formulation, which uses the magnetic field as a state variable. N\\'ed\\'elec elements (of arbitrary order) are required for an accurate approximation of the H-formulation for modelling electromagnetic fields along interfaces between regions with high contrast medium properties. An h-adaptive mesh refinement technique customized for N\\'ed\\'elec elements leads to a structured fine mesh in areas of interest whereas a smart coarsening is obtained in other regions. The composition of a tailored, robust, parallel nonlinear solver completes the exposition of the developed tools to tackle the problem. First, a comparison against experimental data is performed to show the availability of the finite element approximation to model the physical phenomena. Then, a selected state-of-the-art 3D benchmark is reproduced, focusing on the parallel performance of the algorithms.

연구 동기 및 목표

• 실제 조건에서 고온 초전도체(HTS)의 전자기적 거동을 시뮬레이션하기 위한 확장 가능하고 고성능의 수치 프레임워크 개발.
• 다중 척도 물리 현상, 강한 재료 대비, 전류-전압 관계의 비선형성 등 HTS 장치 모델링의 계산적 과제 해결.
• 고도로 발전한 메시 적응 및 병렬 비선형 솔버를 통해 HPC 플랫폼에서의 효율적 시뮬레이션 구현.
• 신뢰성 및 성능 평가를 위해 수치 모델을 실험 데이터와 비교하고 최신 3차원 벤치마크를 재현함.

제안 방법

• 외부 자기장과 전류 주입을 앙페르의 법칙을 통해 직접 적용할 수 있도록 주요 변수로 자기장(H)을 사용하는 H-형식 채택.
• 임의의 순서의 컬-일치하는 Nédélec 모서리 요소를 사용하여 초전도체/공기 등 고대비 인터페이스에서의 필드 불연속성을 정확히 포착.
• 2:1 세분화 균형을 갖춘 옥트리 기반 메시에서 h-적응 메시 세분화를 구현하여 관심 영역에 해상도를 집중시키고, 유전체 영역은 희박화.
• 비선형 솔버 수렴 이력에 따라 지도된 후진 오일러와 적응 시간 스텝을 사용한 완전히 암시적인 시간 이산화.
• H(curl) 공간에 대해 정확한 자코비안과 도메인 분할 조건부를 사용한 뉴턴-라프슨 선형화를 기반으로 한 완전히 분산된 병렬 비선형 솔버 설계.
• 확장성과 커뮤니티 활용을 위해 프레임워크를 개방소스 유한요소 소프트웨어 FEMPAR에 통합.

실험 결과

연구 질문

• RQ1 H-형식 기반의 완전히 분산된 병렬 유한요소 프레임워크는 복잡한 기하학과 재료 대비를 가진 HTS 장치의 전자기 반응을 정확하게 시뮬레이션할 수 있는가?
• RQ2 Nédélec 요소를 사용한 h-적응 메시 세분화는 HTS 시뮬레이션에서 정확도를 유지하면서 계산 비용을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 적응 시간 스텝과 도메인 분할 조건부를 갖춘 맞춤형 병렬 비선형 솔버는 HPC 플랫폼에서 해를 구하는 데까지의 시간을 얼마나 향상시킬 수 있는가?
• RQ4 수치 모델은 실제 HTS 장치의 자기장 및 전류 분포에 대해 실험 데이터와 얼마나 잘 일치하는가?
• RQ5 제안된 프레임워크를 사용한 3차원 HTS 시뮬레이션에서 강한 확장성은 어느 정도 달성될 수 있으며, 성능 저하 요인은 어디에 존재하는가?

주요 결과

• 최대 문제 크기에서 144개의 MPI 프로세스를 사용할 경우, 순차 실행 대비 해를 구하는 데까지의 시간에서 최대 52.5배의 성능 향상을 달성하여 시뮬레이션 시간을 23일에서 11시간 이내로 단축.
• 메시 2에 대해선 35.8배의 성능 향상을 기록하였으며, 48개의 프로세서에서 벽시계 시간이 23일 6시간 14분에서 17시간 16분으로 감소.
• 모든 시뮬레이션에서 비선형 솔버가 안정적으로 수렴하며, 프로세서 수 증가에 따라 평균 선형 솔버 반복 수는 약간만 증가.
• 48개 코어로 제한된 거친 문제 솔버가 144개 코어를 초과할 경우 성능 저하 요인이 되며, 확장성을 향상시키기 위해 다중 수준 조건부가 필요함을 시사.
• 수치 결과는 실험 데이터와 뛰어난 일치도를 보이며, 플럭스 침투 및 전류 분포와 같은 물리 현상을 정확히 포착할 수 있음을 검증.
• 3차원 벤치마크 시뮬레이션은 144개 코어까지 강한 확장성을 보이며, HPC 시스템에서 복잡한 적응형 및 이질적 메시를 성공적으로 처리함.