[논문 리뷰] Basic Performance Measurements of the Intel Optane DC Persistent Memory Module

Joseph Izraelevitz, Jian Yang외 10명|arXiv (Cornell University)|2019. 03. 13.

Parallel Computing and Optimization Techniques참고 문헌 20인용 수 200

한 줄 요약

이 논문은 인텔 Optane DC Persistent Memory Module(PMM)의 성능을 다룬 최초의 심층 측정으로, 여러 구성, 벤치마크 및 실제 응용프로그램에 걸쳐 메모리와 지속 저장소로의 사용을 평가합니다. 지연, 대역폭 및 응용계측 영향이 보고되어 향후 NVMM 연구 및 사용에 가이드가 됩니다.

ABSTRACT

Scalable nonvolatile memory DIMMs will finally be commercially available with the release of the Intel Optane DC Persistent Memory Module (or just "Optane DC PMM"). This new nonvolatile DIMM supports byte-granularity accesses with access times on the order of DRAM, while also providing data storage that survives power outages. This work comprises the first in-depth, scholarly, performance review of Intel's Optane DC PMM, exploring its capabilities as a main memory device, and as persistent, byte-addressable memory exposed to user-space applications. This report details the technologies performance under a number of modes and scenarios, and across a wide variety of macro-scale benchmarks. Optane DC PMMs can be used as large memory devices with a DRAM cache to hide their lower bandwidth and higher latency. When used in this Memory (or cached) mode, Optane DC memory has little impact on applications with small memory footprints. Applications with larger memory footprints may experience some slow-down relative to DRAM, but are now able to keep much more data in memory. When used under a file system, Optane DC PMMs can result in significant performance gains, especially when the file system is optimized to use the load/store interface of the Optane DC PMM and the application uses many small, persistent writes. For instance, using the NOVA-relaxed NVMM file system, we can improve the performance of Kyoto Cabinet by almost 2x. Optane DC PMMs can also enable user-space persistence where the application explicitly controls its writes into persistent Optane DC media. In our experiments, modified applications that used user-space Optane DC persistence generally outperformed their file system counterparts. For instance, the persistent version of RocksDB performed almost 2x faster than the equivalent program utilizing an NVMM-aware file system.

연구 동기 및 목표

• Optane DC 메모리의 기본 성능 특성을 DRAM과 비교하여 규명한다.
• 메모리 모드(대규모 휘발 메모리)와 App Direct 모드(지속 메모리) 구성에서 Optane DC PMM을 평가한다.
• 시스템 소프트웨어, 저장 계층, 실제 응용에 대한 Optane DC의 영향을 평가한다.
• 에뮬레이션 방법 및 기존 저장소/디스크 기준선에 대한 Optane DC 성능을 비교한다.
• 비휘발성 메모리 기술의 향후 연구 및 배치를 안내할 데이터를 제공한다.

제안 방법

• 메모리 모드와 App Direct 모드를 포함한 여러 Optane DC 구성에서 광범위한 마이크로- 및 매크로 벤치마크를 수행한다.
• 64 B 내부 블록 정렬에서 256 B 실제 접근 크기까지 다양한 접근 크기에 대한 지연(읽기/쓰기) 및 대역폭을 측정한다.
• Intel Memory Latency Checker (MLC) 및 LATTester 커널 모듈과 같은 도구를 사용하여 제어된 조건에서 메모리 지연 및 대역폭을 정량화한다.
• 소켓당 여섯 가지 구성 평가: MM-LDRAM, MM-Optane-Cached, MM-Optane-Uncached, PM-Optane, PM-LDRAM, PM-RDRAM, 그리고 블록 기반 기준선(SSD-Optane, SSD-SATA)도 포함.
• SPEC CPU 2017, PARSEC, Memcached, Redis, RocksDB 및 다양한 지속 메모리 파일 시스템(DAX-enabled, NOVA)을 포함한 광범위한 워크로드를 실행.
• 약 330시간의 기계 가동 시간에 걸쳐 데이터를 집계하고 재현성을 위해 anc/ 디렉토리에 데이터를 제공한다.

실험 결과

연구 질문

• RQ1 Optane DC 메모리의 기본 성능 특성은 무엇이며 로컬 DRAM 및 원격 DRAM과 어떻게 다른가?
• RQ2 Optane DC 메모리에 지속적인 쓰기를 수행하는 비용은 무엇이며 지속성은 타이밍에 어떻게 영향을 미치는가?
• RQ3 다양한 접근 패턴과 데이터 크기가 Optane DC 성능에 어떤 영향을 미치는가?
• RQ4 DRAM의 확장으로서의 메모리 모드 및 지속 저장소로서의 App Direct 모드에서 Optane DC 메모리가 애플리케이션 성능에 어떤 영향을 미치는가?
• RQ5 소프트웨어 스택(파일 시스템, 라이브러리 및 애플리케이션)은 에뮬레이션 방법 및 전통적인 저장소에 비해 Optane DC에서 어떻게 수행되는가?
• RQ6 맞춤형 NVMM 지향 애플리케이션(예: RocksDB, Redis)이 Optane DC PMM을 지속 메모리로 사용할 때 어떻게 수행되는가?

주요 결과

• Optane DC PMM의 임의 로드의 읽기 지연은 약 305 ns이고, 동일 플랫폼의 DRAM은 81 ns; 순차 로드는 169 ns이다. 지속성을 달성하기 위한 쓰기 지연(ADR 도메인)은 Optane DC가 94 ns이고 DRAM은 86 ns이다.
• 장치당 연속 읽기 대역폭은 최대 6.6 GB/s이며, 쓰기 대역폭은 최대 2.3 GB/s이다; 여섯 개의 PMM을 병렬로 구성하면 읽기 39.4 GB/s, 쓰기 13.9 GB/s를 달성한다.
• 단일 스레드 무작위 접근에서 내부 블록 크기 256 B가 Optane DC의 효율적 입자이다; 더 작은 접근은 대역폭을 낭비하고 쓰기 증폭을 유발한다.
• 캐싱이 있는 주 기억으로 사용(메모리 모드) 시 SPEC CPU 2017 정수 워크로드는 캐시된 Optane DC가 있는 DRAM과 유사하게 동작한다; 캐시되지 않은 Optane DC는 약 38% 느리다; 부동소수점 성능은 더 크게 떨어진다(캐시됨: 약 15%, 캐시되지 않음: 약 61%). Memcached와 Redis는 DRAM 캐시 사용 시 성능 손실이 8.6–19.2%, 캐시되지 않은 Optane DC의 경우 20.1–23.0%를 보인다.
• 지속 저장소(App Direct 모드)로서 Optane DC는 SATA SSD 및 Optane SSD에 비해 저장 성능을 크게 향상시키며, NOVA 기반 NVMM 파일 시스템은 특정 워크로드에서 최대 약 2배의 향상을 보인다(예: Kyoto Cabinet). RocksDB와 Redis와 같은 애플리케이션은 메모리 매핑 접근에 맞게 최적화될 때 PM 기반 지속성으로 이익을 얻으며, 특정 구성에서 RocksDB 이득은 최대 3.5배, Redis는 약 3.2배이다.
• 지속 메모리 실험에서 RocksDB-PMEM은 비-PMEM 변형보다 최대 약 3.5배 더 높은 성능을 낼 수 있으며, Redis-PMEM의 이득은 테스트된 설정에서 약 20% 정도이다; 결과는 워크로드와 소프트웨어 설계에 따라 달라진다.