[논문 리뷰] Enabling Efficient RDMA-based Synchronous Mirroring of Persistent Memory Transactions

Arash Tavakkol, Aasheesh Kolli외 11명|arXiv (Cornell University)|2018. 10. 22.

Advanced Data Storage Technologies참고 문헌 25인용 수 5

한 줄 요약

이 논문은 지속 메모리 트랜잭션의 효율적이고 동기적인 미러링을 위한 새로운 RDMA 프리미티브와 두 가지 신규 기법—순서 기반 버퍼링과 비일시적 원격 쓰기—을 제안한다. RDMA의 비동기 기능을 활용하고 순서 및 내구성 보장을 향상시킴으로써, 저자들은 각각 원격 커밋 기반 SM 대비 1.8배 및 2.9배의 성능 향상을 달성하였다.

ABSTRACT

Synchronous Mirroring (SM) is a standard approach to building highly-available and fault-tolerant enterprise storage systems. SM ensures strong data consistency by maintaining multiple exact data replicas and synchronously propagating every update to all of them. Such strong consistency provides fault tolerance guarantees and a simple programming model coveted by enterprise system designers. For current storage devices, SM comes at modest performance overheads. This is because performing both local and remote updates simultaneously is only marginally slower than performing just local updates, due to the relatively slow performance of accesses to storage in today's systems. However, emerging persistent memory and ultra-low-latency network technologies necessitate a careful re-evaluation of the existing SM techniques, as these technologies present fundamentally different latency characteristics compared than their traditional counterparts. In addition to that, existing low-latency network technologies, such as Remote Direct Memory Access (RDMA), provide limited ordering guarantees and do not provide durability guarantees necessary for SM. To evaluate the performance implications of RDMA-based SM, we develop a rigorous testing framework that is based on emulated persistent memory. Our testing framework makes use of two different tools: (i) a configurable microbenchmark and (ii) a modified version of the WHISPER benchmark suite, which comprises a set of common cloud applications. Using this framework, we find that recently proposed RDMA primitives, such as remote commit, provide correctness guarantees, but do not take full advantage of the asynchronous nature of RDMA hardware. To this end, we propose new primitives enabling efficient and correct SM over RDMA, and use these primitives to develop two new techniques delivering high-performance SM of persistent memories.

연구 동기 및 목표

• 지속 메모리 시스템에서 로컬 업데이트와 원격 업데이트 간 성능 격차가 점점 커지는 데에 대응하기 위해, 기존 동기 미러링(SM)이 비용이 너무 많이 들게 되는 문제를 해결하기 위해.
• RDMA의 제한된 순서 및 내구성 보장 조건을 고려할 때, 지속 메모리 워크로드에서 SM에 RDMA를 사용할 경우의 성능 영향을 평가하기 위해.
• 지속 메모리에서 효율적이고 정확한 SM을 위해 RDMA의 비동기 성격을 최대한 활용할 수 있도록 새로운 하드웨어 프리미티브와 시스템 기법을 설계하기 위해.
• 신속한 지속 메모리와 저지연 네트워크를 활용하여 엔터프라이즈 스토리지 시스템에서 고성능, 강력한 일致성 데이터 복제를 가능하게 하기 위해.

제안 방법

• 모의 지속 메모리와 함께 사용 가능한 구성 가능한 마이크로베이스라인 및 수정된 WHISPER 벤치마크 세트를 결합한 엄격한 테스트 프레임워크를 개발하여, SM 지원 기능을 통합하였다.
• 두 가지 새로운 SM 기법을 제안: (1) 원격 쓰기 순서를 관리하기 위한 순서 기반 버퍼링, (2) 차단 없이 내구성과 순서 보장을 보장하기 위한 비일시적 원격 쓰기.
• 원격 쓰기 실행에서 순서 및 내구성을 분리하는 새로운 RDMA 프리미티브를 설계하여, 동시성과 효율적인 데이터 복제를 가능하게 하였다.
• 다양한 클라우드 워크로드에서 다양한 쓰기 패턴과 트랜잭션 구조를 고려해, 신규 기법을 원격 커밋 기반 베이스라인과 대비하여 평가하였다.
• 마이크로베이스라인과 실제 응용 프로그램(예: echo, hashmap)을 사용하여 쓰기 빈도, 에포크 크기, 트랜잭션 특성을 분석하고 최적화를 이끌어내기 위해 집중하였다.
• 크래시 일致성을 확보하면서도 RDMA의 일방적 비동기 메모리 액세스 모델을 최대한 활용하여 원격 업데이트 오버헤드를 최소화하는 데에 초점을 맞췄다.

실험 결과

연구 질문

• RQ1 원격 커밋과 같은 기존 RDMA 프리미티브가 지속 메모리 시스템에서 동기 미러링의 성능과 정확성에 어떤 영향을 미치는가?
• RQ2 RDMA 하드웨어의 비동기 성격을 얼마나 효과적으로 활용하여 지속 메모리 미러링의 성능을 향상시킬 수 있는가?
• RQ3 지속 메모리용 RDMA 기반 SM에서 정확한 순서 및 내구성을 확보하기 위해 어떤 새로운 프리미티브와 시스템 기법이 필요한가?
• RQ4 낮은 쓰기 빈도와 미세한 업데이트를 특징으로 하는 다양한 응용 워크로드가 다양한 SM 설계의 성능에 어떤 영향을 미치는가?
• RQ5 새로운 SM 기법이 강력한 일致성 보장을 유지하면서도 원격 커밋 기반 SM 대비 처리량과 지연 시간 측면에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 순서 기반 버퍼링 기법은 응용 프로그램 전체 성능에서 원격 커밋 기반 SM 대비 1.8배 빠른 성능을 기록하였다.
• 비일시적 원격 쓰기 기법은 원격 커밋 기반 베이스라인 대비 2.9배의 성능 향상을 달성하였다.
• 낮은 쓰기 빈도(예: 에포크당 1.4회 쓰기)와 미세한 업데이트(일반적으로 에포크당 한 캐시 라인당)를 특징으로 하는 워크로드가 신규 기법에서 가장 큰 이점을 얻었다.
• 원격 커밋은 정확하지만 RDMA의 비동기 기능을 제대로 활용하지 못해 불필요한 시리얼라이제이션과 성능 저하 요소를 야기한다.
• 지속 메모리에서 로컬 업데이트와 원격 업데이트 간 성능 격차는 크게 벌어지며, 이는 효율적인 SM이 시스템의 타당성을 확보하기 위해 필수적임을 시사한다.
• 신규 프리미티브와 기법은 순서 및 내구성을 원격 쓰기 실행에서 완전히 분리하여 고도의 동시성과 낮은 지연 시간을 가능하게 하였다.