[논문 리뷰] Warp: Lightweight Multi-Key Transactions for Key-Value Stores

Robert Escriva, Bernard Wong외 1명|arXiv (Cornell University)|2015. 09. 25.

Peer-to-Peer Network Technologies참고 문헌 54인용 수 32

한 줄 요약

Warp는 분할된 키-값 스토어에서 경량이며 일관성 있는 다중 키 트랜잭션을 위한 새로운 프로토콜인 순환하지 않는 트랜잭션을 제안한다. 데이터에 의존하는 서버 체인을 동적으로 구성하고 겹치는 트랜잭션의 동시 준비를 허용함으로써, Warp는 TPC-C에서 Sinfonia의 마이크로트랜잭션 대비 4배 높은 처리량을 달성하며, 실패 없이 실행되며 비트랜잭셔널 스토어의 처리량의 75%를 달성한다.

ABSTRACT

Traditional NoSQL systems scale by sharding data across multiple servers and by performing each operation on a small number of servers. Because transactions on multiple keys necessarily require coordination across multiple servers, NoSQL systems often explicitly avoid making transactional guarantees in order to avoid such coordination. Past work on transactional systems control this coordination by either increasing the granularity at which transactions are ordered, sacrificing serializability, or by making clock synchronicity assumptions. This paper presents a novel protocol for providing serializable transactions on top of a sharded data store. Called acyclic transactions, this protocol allows multiple transactions to prepare and commit simultaneously, improving concurrency in the system, while ensuring that no cycles form between concurrently-committing transactions. We have fully implemented acyclic transactions in a document store called Warp. Experiments show that Warp achieves 4 times higher throughput than Sinfonia's mini-transactions on the standard TPC-C benchmark with no aborts. Further, the system achieves 75% of the throughput of the non-transactional key-value store it builds upon.

연구 동기 및 목표

• 기존 분산 NoSQL 시스템에서의 다중 키 트랜잭션의 확장성 및 성능 한계를 해결한다.
• 중앙 집중식 트랜잭션 매니저의 병목 현상과 크로스 샤딩 연산의 조정 비용을 극복한다.
• 정적 분석, 트랜잭션에 대한 사전 지식, 시계 동기화 없이도 고병행성과 일관성을 확보한다.
• 비트랜잭셔널 키-값 스토어 수준의 성능에 가까운 성능을 달성하면서도 다수의 키에 걸쳐 ACID 보장을 제공한다.
• 분할 제약 없이 일반 목적의 유연한 트랜잭션 워크로드를 지원하는 시스템을 설계한다.

제안 방법

• 서로 겹치는 데이터에 접근하는 트랜잭션들만 순서를 정하는, 순환하지 않는 트랜잭션을 도입하여 조정 비용을 최소화한다.
• 각 트랜잭션마다 데이터에 의존하는 서버 체인을 동적으로 구성함으로써 통신 비용을 줄이고 중앙 집중식 조정 지점을 제거한다.
• 데이터에 의존하는 체인 내에서의 일관성 원칙을 활용하여 겹치는 트랜잭션들을 동시에 준비할 수 있도록 허용한다.
• 클라이언트 측의 조정자로 키를 서버에 매핑하고 트랜잭션 단계를 관리함으로써 애플리케이션 코드를 서버로 이동시키지 않는다.
• 낙관적 검증과 이중단계 커밋 세미틱스를 활용하지만, 실시간 순서 정하기를 통해 더 높은 병행성을 확보한다.
• HyperDex를 기반으로 하되, 클라이언트 라이브러리와 조정자에 경량 수정을 가하여 트랜잭션 세미틱스를 확장한다.

실험 결과

연구 질문

• RQ1 중앙 집중식 조정 없이도 분할된 키-값 스토어에서 다중 키 트랜잭션을 고도로 확장성 있고 성능이 우수하도록 만들 수 있는가?
• RQ2 겹치는 트랜잭션의 동시 실행을 지원하면서도 최소한의 조정 오버헤드로 일관성을 확보할 수 있는가?
• RQ3 정적 분석과 트랜잭션에 대한 사전 지식 없이도 정확성과 고병행성을 유지할 수 있는가?
• RQ4 실제 벤치마크에서 트랜잭셔널 성능이 비트랜잭셔널 키-값 스토어 수준에 얼마나 가까워질 수 있는가?
• RQ5 복잡한 복구 메커니즘에 의존하지 않고도 클라이언트 장애를 처리하고 장애 내성 보장을 유지할 수 있는가?

주요 결과

• Warp는 TPC-C 벤치마크에서 Sinfonia의 마이크로트랜잭션 대비 4배 높은 처리량을 달성하며, 지연 시간은 5배 낮다.
• TPC-C 워크로드 동안 트랜잭션 실패가 전혀 발생하지 않아 고병행성과 효과적인 충돌 해결 능력을 입증한다.
• Warp는 기반 비트랜잭셔널 키-값 스토어의 처리량의 75%를 달성하여 최소한의 성능 손실을 보여준다.
• 서로 겹치지 않는 데이터나 시간 간격을 가진 트랜잭션은 조정 비용이 전혀 발생하지 않아 확장성 향상에 기여한다.
• 순환하지 않는 트랜잭션 프로토콜은 데이터에 의존하는 서버 체인을 활용하여 겹치는 여러 트랜잭션의 동시 준비를 가능하게 한다.
• 시스템은 부하 증가에 따라도 잘 스케일링되며, 중앙 집중식 트랜잭션 매니저나 조정 지점의 병목 현상 없이 고성능을 유지한다.