[논문 리뷰] Brief Announcement: On Implementing Wear Leveling in Persistent Synchronization Structures

Joseph Izraelevitz, Kansara, Kush외 3명|arXiv (Cornell University)|2023. 01. 01.

Advanced Data Storage Technologies인용 수 144

한 줄 요약

이 논문은 인텔 옵테인 DC 영구 메모리 모듈의 첫 번째 심층 성능 평가를 제시하며, 주 메모리 확장 및 영구 저장소 계층으로서의 동작을 측정한다. 이는 옵테인 DC가 SSD보다 훨씬 낮은 지연 시간과 DRAM보다 높은 용량을 제공하지만, 비대칭 대역폭(읽기 6.6 GB/s 대비 写기 2.3 GB/s)과 높은 쓰기 지연 시간으로 인해 성능에 영향을 미친다는 것을 보여준다. 특히 영구 메모리 워크로드에서 그렇다. 주요 발견은 응용 프로그램 수준의 영속성과 NVMM 인식 파일 시스템이 기존 스토리지 스택 대비 최대 2배의 성능 향상을 달성할 수 있다는 것이다.

ABSTRACT

The last decade has witnessed an explosion of research on persistent memory, which combines the low access latency of dynamic random access memory (DRAM) with the durability of secondary storage. Intel’s implementation of persistent memory, called Optane, comes close to realizing the game-changing potential of persistent memory in terms of performance; however, it also suffers from limited endurance and relies on a proprietary wear leveling mechanism to mitigate memory cell wear-out. The traditional embedded approach to wear leveling, in which the storage device itself maps logical addresses to physical addresses, can be fast and energy-efficient, but it is also relatively inflexible and can lead to missed opportunities for optimization. An alternative school of thought, exemplified by "open channel" solid state drives (SSDs), delegates responsibility for wear leveling to software, where it can be tailored to specific applications. In this research, we consider a hypothetical hardware platform where the same paradigm is applied to the persistent memory device, and ask how the wear leveling mechanism can be co-designed with synchronization structures that generate highly skewed memory access patterns. Building on the recent work of Liu and Golab, we implement an improved wear leveling atomic counter by leveraging hardware transactional memory in a novel way. Our solution is close to optimal with respect to both space complexity and measured performance.

연구 동기 및 목표

• 인텔 옵테인 DC 영구 메모리 모듈(PMM)이 주 메모리 확장 및 영구 저장 장치로서의 성능 특성을 평가하기 위해.
• DRAM 캐시가 있는 메모리(캐시된) 모드와 직접 사용자 공간 액세스가 가능한 애플리케이션 직접(App Direct, 캐시되지 않은) 모드에서 옵테인 DC PMM의 성능을 평가하기 위해.
• 파일 시스템, 영구 메모리 라이브러리, 사용자 공간 영속성 기술을 사용하여 실제 워크로드에 영향을 측정하기 위해.
• 마이크로 벤치마크와 생산 워크로드에서 DRAM 및 SSD와의 성능을 비교하기 위해.
• 영구 메모리 시스템에서의 성능 저하 요인과 기회를 규명하여 향후 연구를 안내하기 위해.

제안 방법

• 이중 Xeon 스케일러블 프로세서를 탑재한 3TB 옵테인 DC PMM 시스템에서 마이크로 및 마크로 벤치마크를 수행하였다.
• DRAM 캐시가 있는 메모리(캐시된) 모드와 직접 사용자 공간 액세스가 가능한 애플리케이션 직접(캐시되지 않은) 모드의 두 가지 모드에서 성능을 평가하였다.
• PMemKV, WHISPER 및 생산용 응용 프로그램(RocksDB, Redis, MongoDB 등)을 포함한 다양한 워크로드에서 지연 시간, 대역폭, 처리량을 측정하였다.
• Ext4, XFS, NOVA 및 DAX 최적화 버전을 포함한 여러 파일 시스템을 사용하여 NVMM 인식 여부에 따라 성능을 비교하였다.
• 커널 수준 파일 시스템 I/O와 clwb 및 fence 명령어를 사용한 사용자 공간 영속 메모리 프로그래밍을 모두 측정하였다.
• 옵테인 DC의 성능 특성에 기인한 영향을 분리하기 위해, DRAM 기반 PMem(PM-LDRAM) 및 RDRAM 기반 결과를 정규화하였다.

실험 결과

연구 질문

• RQ1 다양한 액세스 패턴에서 옵테인 DC PMM의 지연 시간과 대역폭이 DRAM 및 SSD와 비교해 어떻게 되는가?
• RQ2 캐시된(메모리) 모드와 캐시되지 않은(애플리케이션 직접) 모드에서 옵테인 DC를 사용할 경우 실제 응용 프로그램에 어떤 성능 영향을 미치는가?
• RQ3 NVMM 인식 파일 시스템과 사용자 공간 영속 메모리 프로그래밍은 옵테인 DC에서 응용 프로그램 성능 향상에 얼마나 기여하는가?
• RQ4 고밀도 쓰기 빈도를 가진 영구 데이터 구조와 워크로드는 옵테인 DC에서 DRAM과 비교해 어떻게 성능을 보이는가?
• RQ5 파일 시스템, DAX, 사용자 공간 영속성 등의 소프트웨어 스택 선택 사항이 옵테인 DC에서 종단 간 응용 프로그램 처리량에 어떤 영향을 미치는가?

주요 결과

• 옵테인 DC PMM는 읽기 대역폭 6.6 GB/s, 쓰기 대역폭 2.3 GB/s를 가지며, 뚜렷한 비대칭성을 보이며, DRAM보다는 346 ns 높은 액세스 지연 시간을 가지지만 SSD보다 낮다.
• 캐시된(메모리) 모드에서는 소형 메모리 프로필 응용 프로그램은 성능에 거의 영향을 받지 않지만, 대용량 메모리가 필요한 응용 프로그램은 증가된 메모리 용량으로부터 유의미한 이점을 얻는다.
• 애플리케이션 직접(캐시되지 않은) 모드에서는 NOVA-relaxed NVMM 파일 시스템을 사용할 경우 기존 파일 시스템 대비 키요토 캐비닛 성능이 거의 2배 향상되었다.
• RocksDB와 같은 응용 프로그램의 사용자 공간 영속 버전은 파일 시스템 기반 대비 최대 2배 높은 성능을 기록하여 커널 및 파일 시스템 오버헤드를 우회함으로써 유의미한 이점을 얻음을 보여주었다.
• WHISPER 벤치마크 결과에 따르면, 옵테인 DC는 DRAM 대비 평균 24% 더 긴 응용 프로그램 실행 시간을 보였으며, 특히 쓰기 중심의 영구 데이터 구조에서 성능 격차가 가장 컸다.
• 옵테인 DC와 DRAM 간의 성능 격차는 쓰기 중심 워크로드에서 가장 두드러지며, PMemKV는 옵테인 DC에서 PM-LDRAM 대비 최대 2.05배 높은 쓰기 지연 시간을 보였다.