[논문 리뷰] Brief Announcement: Building Fast Recoverable Persistent Data Structures with Montage

Haosen Wen, Wentao Cai외 3명|arXiv (Cornell University)|2020. 01. 01.

Distributed systems and fault tolerance참고 문헌 49인용 수 3

한 줄 요약

Montage는 느리게 흐르는 에포크 클록과 버퍼링된 내구성 있는 선형화 가능 방식을 사용하여 빠르고 복구 가능한 영구 데이터 구조를 구축하기 위한 일반 목적의 시스템이다. 이를 통해 유일한 추상 상태(예: 키-값 쌍)만 영구 저장함으로써 지속성 오버헤드를 최소화하고, 복구 시 일시적 DRAM 내의 전이적 구조(예: 해시 테이블, 그래프)를 재구성함으로써 최대 2000만 연산/초의 성능을 달성하며, DRAM 성능의 3배 이내이며 이전 시스템인 Dalí와 Pronto보다 7배 빠름.

ABSTRACT

The recent emergence of fast, dense, nonvolatile main memory suggests that certain long-lived data might remain in its natural pointer-rich format across program runs and hardware reboots. Operations on such data must be instrumented with explicit write-back and fence instructions to ensure consistency in the wake of a crash. Techniques to minimize the cost of this instrumentation are an active topic of research. We present what we believe to be the first general-purpose approach to building buffered durably linearizable persistent data structures, and a system, Montage, to support that approach. Montage is built on top of the Ralloc nonblocking persistent allocator. It employs a slow-ticking epoch clock, and ensures that no operation appears to span an epoch boundary. It also arranges to persist only that data minimally required to reconstruct the structure after a crash. If a crash occurs in epoch $e$, all work performed in epochs $e$ and $e-1$ is lost, but work from prior epochs is preserved. We describe the implementation of Montage, argue its correctness, and report unprecedented throughput for persistent queues, sets/mappings, and general graphs.

연구 동기 및 목표

• 비휘발성 메모리(NVM) 환경에서 영구 데이터 구조의 내구성 있는 선형화 가능성을 확보하는 데 발생하는 높은 성능 비용을 해결한다.
• 일반적인 운영 동안 명시적 쓰기 백 및 패드 지시어의 오버헤드를 줄이기 위해 지속성과 핵심 경로 실행을 분리한다.
• 일시적 메모리에서 전이적 데이터 구조를 재구성할 수 있도록 최소한의 필수 추상 상태만 영구 저장함으로써 빠른 복구를 가능하게 한다.
• 충돌 이후에도 정확성을 유지하는 일반 목적의, 락 프리 및 비차단 영구 데이터 구조를 지원한다.
• 충돌 일관성과 내구성을 보장하면서도 전이적 DRAM 데이터 구조에 가까운 성능을 달성한다.

제안 방법

• 에포크 경계를 넘는 작업이 발생하지 않도록 보장하기 위해 느리게 흐르는 에포크 클록을 사용하여 충돌 복구를 안전하게 가능하게 한다.
• 영구 저장되는 추상 상태(NVM에 저장)와 일시적 DRAM에서 유지되는 구체적 상태를 분리하여, 오직 추상 상태만 영구 저장한다.
• 할당/할당 해제 과정에서의 쓰기 백 및 패드 오버헤드를 제거하기 위해 Ralloc 비차단 영구 할당기 기반으로 설계한다.
• 사용자가 제공한 논리에 따라 복구 시 추상 상태에서 구체적 데이터 구조(예: 해시 테이블, 그래프)를 재구성한다.
• 스레드 간 정점 및 간선 재구성 분배를 통해 스케일링 가능하고 병렬적인 방식으로 복구를 구현함으로써 락 최소화를 달성한다.
• 지속성 효과의 순서가 선형화 순서와 일치하도록 운영 간 지속성 조율을 통해 내구성 있는 선형화 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 일반 목적의 시스템이 영구 데이터 구조의 내구성 있는 선형화 가능성을 확보하면서도 충돌 일관성을 희생시키지 않고 성능 오버헤드를 줄일 수 있는가?
• RQ2 지속성 버퍼링과 쓰기 백 연기 전략을 통해 영구 데이터 구조가 DRAM 성능에 얼마나 가까이 도달할 수 있는가?
• RQ3 추상 상태와 구체적 상태의 분리가 영구 저장 스토리지 쓰기 횟수를 최소화하고 복구 효율성을 향상시키는 데 얼마나 효과적인가?
• RQ4 Ralloc과 같은 비차단 할당기 기반 시스템이 비차단 세미antics를 유지하면서도 빠르고 스케일링 가능한 복구를 가능하게 할 수 있는가?
• RQ5 실제 워크로드 하에서 Montage의 성능이 기존 일반 목적 및 특수 목적 영구 데이터 구조와 비교해 어떻게 되는가?

주요 결과

• Montage는 읽기 중심 워크로드에서 2000만 건 이상의 연산/초를 지속적으로 달성하여, Dalí보다 7배, Pronto보다 17배 높은 처리량을 기록함.
• 해시맵 성능은 네이티브 DRAM 해시 테이블의 3배 이내로, 인텔 옵티메이즈 NVM 환경에서 이론적으로 달성 가능한 최고 성능에 근접함.
• 1GB 데이터 세트 복구는 단일 복구 스레드로 0.7초, 32GB 데이터 세트 복구는 8개 스레드로 13.8초 내에 완료되어 뛰어난 확장성 입증.
• 대규모 옥투 부사회 네트워크 그래프(300만 정점, 1억 1700만 간선)의 경우, 낮은 스레드 수에서는 DRAM 재구성보다 빠르며, 높은 스레드 수에서는 유사한 성능 기록.
• 기존 특수 목적 영구 데이터 구조(예: 기능적 업데이트나 로그 기반 재생 최적화)와 비교해도 성능에서 뒤지지 않거나 승승을 거두었음.
• 신뢰할 수 없는 애플리케이션 간에 독립적인 장애 모드를 가진 영구 데이터 구조를 안전하게 공유할 수 있도록 하여, NVM 시대의 파일 기반 지속성에 대한 실용적인 대안을 제시함.