[논문 리뷰] Effect of Meltdown and Spectre Patches on the Performance of HPC Applications

Nikolay A. Simakov, Martins Innus외 5명|arXiv (Cornell University)|2018. 01. 12.

Parallel Computing and Optimization Techniques참고 문헌 5인용 수 9

한 줄 요약

이 연구는 실제 HPC 클러스터에서 XDMoD의 애플리케이션 커널 모니터링을 사용하여 멜트다운과 스펙트럼 패치가 HPC 워크로드에 미치는 성능 영향을 평가한다. 일부 마이크로베치마크에서는 최대 74%의 속도 저하가 관찰되었지만, 실제 HPC 애플리케이션은 단일 노드 작업에서 2-3%의 성능 저하를 경험했고, 다중 노드 병렬 작업에서는 5-11%의 성능 저하를 보였으며, 이는 상당한 보안 강화에도 불구하고 전반적인 영향이 미미하다는 것을 시사한다.

ABSTRACT

In this work we examine how the updates addressing Meltdown and Spectre vulnerabilities impact the performance of HPC applications. To study this we use the application kernel module of XDMoD to test the performance before and after the application of the vulnerability patches. We tested the performance difference for multiple application and benchmarks including: NWChem, NAMD, HPCC, IOR, MDTest and IMB. The results show that although some specific functions can have performance decreased by as much as 74%, the majority of individual metrics indicates little to no decrease in performance. The real-world applications show a 2-3% decrease in performance for single node jobs and a 5-11% decrease for parallel multi node jobs.

연구 동기 및 목표

• 멜트다운 및 스펙트럼 패치가 실제 HPC 애플리케이션과 벤치마크에 미치는 성능 영향을 정량화하는 것.
• 보안 강화 업데이트가 HPC 시스템 성능을 상당히 저하시키는지 평가하는 것.
• 과학적 애플리케이션과 I/O 벤치마크를 포함한 다양한 유형의 HPC 워크로드 간에 성능 저하가 일관된지 확인하는 것.
• XDMoD의 애플리케이션 커널 모니터링을 활용하여 시스템 수준의 변경 전후에 자동으로 지속적인 성능 비교를 가능하게 하는 것.
• HPC 센터에서 보안 강화와 애플리케이션 성능 간의 트레이드오프를 평가할 수 있는 실증 데이터를 제공하는 것.

제안 방법

• 패치 적용 전후에 HPC 애플리케이션과 벤치마크의 성능을 자동으로 실행하고 모니터링하기 위해 XDMoD의 애플리케이션 커널 모듈을 활용하였다.
• 테스트를 위해 실제 HPC 애플리케이션(NAMD, NWChem)과 표준 벤치마크(HPCC, IMB, IOR, MDTest)를 선정하였다.
• Intel L5520 CPU와 인피니밴드 인터커넥트를 사용한 8개 노드, 각 노드당 8코어로 구성된 테스트 클러스터에서 성능 측정을 수행하였다.
• CVE-2017-5753, CVE-2017-5715, CVE-2017-5754 취약점을 완화하기 위해 커널 수준 패치를 적용하였다.
• 유의미한 성능 차이가 있는지 통계적으로 판단하기 위해 α = 0.05로 Welch의 t-검정을 사용하였다.
• 지역 저장소와 GPFS를 포함한 다양한 파일 시스템에서 월클록 시간, 처리량, 초당 연산 수를 측정하였다.

실험 결과

연구 질문

• RQ1 멜트다운 및 스펙트럼 패치가 단일 노드 HPC 애플리케이션에 어떤 성능 영향을 미치는가?
• RQ2 멜트다운 및 스펙트럼 완화 조치를 적용한 후 다중 노드 병렬 HPC 워크로드는 어떻게 수행되는가?
• RQ3 특정 벤치마크나 애플리케이션 유형이 비례하지 않게 높은 성능 저하를 경험하는가?
• RQ4 IOR 및 MDTest와 같은 I/O 집약적인 워크로드는 패치 적용 후 얼마나 저하되는가?
• RQ5 다양한 애플리케이션 커널 간에 성능 저하는 통계적으로 유의미한가?

주요 결과

• 단일 노드 HPC 애플리케이션은 패치 적용 후 평균 2-3%의 성능 감소를 보였으며, 대부분의 경우 통계적으로 유의미한 차이가 없었다.
• 다중 노드 병렬 작업은 5-11%의 성능 저하를 경험했으며, 로컬 스토리지에서 실행된 MDTest는 월클록 시간이 최대 78.6% 증가하였다.
• 로컬 스토리지에서 실행된 MDTest 벤치마크가 가장 높은 저하를 보였으며, 월클록 시간은 78.6% 증가했고, 초당 연산 수는 최대 26.3% 감소하였다.
• 일부 마이크로베치마크의 개별 지표에서는 파일 시스템 연산(예: stat, read)에서 최대 74%의 성능 저하가 관찰되었다.
• 로컬 스토리지에서 실행된 IOR 벤치마크는 쓰기 열기 시간이 12.5% 증가했으며, POSIX 읽기 처리량은 11.3% 감소하였다.
• 일부 극단적인 이질적 결과가 있었음에도 불구하고, 대부분의 지표는 통계적으로 유의미한 성능 차이가 없었으며, 이는 대부분의 HPC 워크로드가 여전히 크게 영향을 받지 않는다는 것을 시사한다.