[논문 리뷰] The Preliminary Evaluation of a Hypervisor-based Virtualization Mechanism for Intel Optane DC Persistent Memory Module

Takahiro Hirofuchi, Ryousei Takano|arXiv (Cornell University)|2019. 07. 28.

Parallel Computing and Optimization Techniques참고 문헌 1인용 수 11

한 줄 요약

이 논문은 하이브리드 메모리 시스템에서 DRAM과 인텔 옵테인 DCPMM 간 메모리 매핑을 동적으로 최적화하는 하이퍼바이저 기반 가상화 메커니즘인 RAMinate를 제안한다. 더 빠른 DRAM으로 핫 메모리 페이지를 이동시킴으로써 RAMinate는 성능 저하를 감소시킨다: VM에서 DRAM을 1%만 사용할 경우 커널 빌드 시간은 100% DRAM 기준과 비교해 단지 13% 증가(557초)에 그치지만, 최적화 기능을 비활성화한 경우는 26% 증가(624초)에 이르렀다.

ABSTRACT

Non-volatile memory (NVM) technologies, being accessible in the same manner as DRAM, are considered indispensable for expanding main memory capacities. Intel Optane DCPMM is a long-awaited product that drastically increases main memory capacities. However, a substantial performance gap exists between DRAM and DCPMM. In our experiments, the read/write latencies of DCPMM were 400% and 407% higher than those of DRAM, respectively. The read/write bandwidths were 37% and 8% of those of DRAM. This performance gap in main memory presents a new challenge to researchers; we need a new system software technology supporting emerging hybrid memory architecture. In this paper, we present RAMinate, a hypervisor-based virtualization mechanism for hybrid memory systems, and a key technology to address the performance gap in main memory systems. It provides great flexibility in memory management and maximizes the performance of virtual machines (VMs) by dynamically optimizing memory mappings. Through experiments, we confirmed that even though a VM has only 1% of DRAM in its RAM, the performance degradation of the VM was drastically alleviated by memory mapping optimization. The elapsed time to finish the build of Linux Kernel in the VM was 557 seconds, which was only 13% increase from the 100% DRAM case (i.e., 495 seconds). When the optimization mechanism was disabled, the elapsed time increased to 624 seconds (i.e. 26% increase from the 100% DRAM case).

연구 동기 및 목표

• 메인 메모리 시스템에서 DRAM과 인텔 옵테인 DCPMM 간 상당한 성능 격차를 해결한다.
• 가상화 환경에서 VM이 하이브리드 메모리를 기반으로 하는 동안 느린 DCPMM 접근 문제를 극복한다.
• 핫 페이지를 더 빠른 DRAM에 동적으로 배치함으로써 가상 머신에서 효율적이고 유연한 메모리 관리를 가능하게 한다.
• 지능적인 메모리 매핑을 통해 최소한의 DRAM 사용(1%)으로도 DRAM에 가까운 성능을 달성할 수 있음을 입증한다.
• NVM을 사용하는 하이브리드 메모리 아키텍처에서 최고의 성능을 발휘하는 미래의 시스템 소프트웨어 기반을 마련한다.

제안 방법

• QEMU/KVM에서 실행되는 하이퍼바이저 수준의 가상화 메커니즘으로 RAMinate를 구현하여 DRAM과 DCPMM 간 하이브리드 메모리 관리를 수행한다.
• 성능 카운터와 ipmctl 유틸리티를 사용해 DRAM 및 DCPMM의 실시간 메모리 접근 패턴을 모니터링한다.
• 접근 빈도를 기반으로 게스트 물리 페이지 중 핫 페이지를 동적으로 식별하고, 이들을 DRAM으로 이동시켜 지연을 감소시킨다.
• 5초마다 메모리 매핑 최적화를 수행하며, 한 사이클에 최대 1,000개의 페이지 쌍을 이동시킨다.
• DCPMM의 메모리 모드와 애플리케이션 직접 모드를 모두 지원하며, 완전한 소프트웨어 제어를 위해 주로 애플리케이션 직접 모드에 집중한다.
• Linux 커널(4.19.16 확장판)과 통합하여 저수준 메모리 모니터링 및 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 하이퍼바이저 기반 가상화 메커니즘이 하이브리드 DRAM-DCPMM 메모리를 사용하는 VM에서 성능 저하를 상당히 줄일 수 있는가?
• RQ2 동적 메모리 매핑 최적화가 DCPMM의 높은 지연과 낮은 대역폭의 영향을 최소화하는 데 얼마나 효과적인가?
• RQ3 RAMinate를 사용할 경우 VM의 메모리 할당에서 DRAM을 1%만 사용할 때 어떤 성능 향상이 달성될 수 있는가?
• RQ4 동일한 하드웨어 및 워크로드 조건에서 RAMinate를 적용한 VM과 최적화 기능이 비활성화된 VM의 성능은 어떻게 비교되는가?
• RQ5 계산 집약적인 워크로드 중 메모리 접근 패턴이 변화하는 데에도 지속적으로 페이지 이동이 적응하는 정도는 어느 정도인가?

주요 결과

• DCPMM는 읽기 지연이 DRAM 대비 400% 높고, 쓰기 지연은 407% 높았으며, 읽기 대역폭은 DRAM의 37%, 쓰기 대역폭은 8%에 불과했다.
• RAMinate를 활성화하고 VM의 4GB 메모리 중 1%만 DRAM로 사용할 경우 커널 빌드 시간은 557초였으며, 이는 100% DRAM 기준(495초) 대비 단지 13% 증가에 그쳤다.
• 최적화 기능을 비활성화한 경우 커널 빌드 시간은 624초로 증가했으며, 이는 100% DRAM 기준 대비 26% 증가한 것이다.
• 최적화 후 DRAM 트래픽은 DCPMM 트래픽의 50%로 감소하여 핫 페이지가 효과적으로 DRAM으로 이동된 것으로 나타났다.
• 페이지 이동 활동은 초기에 가장 높았고 약 120초 후에 감소하여 RAMinate가 핫 페이지를 식별하고 이동시킨 후 안정화되었음을 보여주었다.
• 이 메커니즘은 워크로드 변화에 지속적으로 적응하여 실시간으로 변화하는 메모리 접근 패턴에 민감하게 반응함을 입증했다.