[논문 리뷰] Keeping CALM: When Distributed Consistency is Easy

Joseph M. Hellerstein, Peter Alvaro|arXiv (Cornell University)|2019. 01. 07.

Distributed systems and fault tolerance참고 문헌 46인용 수 8

한 줄 요약

이 논문은 단조성 논리로 표현할 수 있는 프로그램이 일관되고, 조율이 없는 분산 실행을 달성할 수 있음을 보여주는 CALM 정리(CALM Theorem)를 제안한다. 주요 기여는 논리적 단조성과 분산 일관성 사이의 형식적 연결을 수립하여, 단조성 프로그램이 본질적으로 런타임 조율이 필요로 하지 않음을 보여주며, 정확성을 포기하지 않고도 확장성과 고가용성을 갖춘 시스템을 가능하게 한다.

ABSTRACT

A key concern in modern distributed systems is to avoid the cost of coordination while maintaining consistent semantics. Until recently, there was no answer to the question of when coordination is actually required. In this paper we present an informal introduction to the CALM Theorem, which answers this question precisely by moving up from traditional storage consistency to consider properties of programs. CALM is an acronym for "consistency as logical monotonicity". The CALM Theorem shows that the programs that have consistent, coordination-free distributed implementations are exactly the programs that can be expressed in monotonic logic. This theoretical result has practical implications for developers of distributed applications. We show how CALM provides a constructive application-level counterpart to conventional "systems" wisdom, such as the apparently negative results of the CAP Theorem. We also discuss ways that monotonic thinking can influence distributed systems design, and how new programming language designs and tools can help developers write consistent, coordination-free code.

연구 동기 및 목표

• 분산 시스템에서 조율이 진정으로 필요한 시점과 그렇지 않은 시점을 식별함으로써, 저장소 수준의 일관성 모델을 넘어서는 것.
• 런타임 조율 없이도 일관성을 달성할 수 있는 분산 프로그램의 이론적 기반을 구축하는 것.
• 일관성을 보장하기 위한 구성적이고 프로그램 수준의 기준인 단조성(monotonicity)을 제공하는 것.
• CAP 정리와 같은 부정적 결과에 대한 실용적 대안을 제공하여, 조율 없이 달성 가능한 영역의 경계를 규명하는 것.
• 프로그래밍 언어 및 시스템 설계가 조율이 없는 일관성 있는 분산 계산을 가능하게 하도록 이끄는 것.

제안 방법

• CALM 정리는 선언적 논리에서의 논리적 단조성과 일관된 분산 실행 사이의 연결을 형식화한다.
• 단조성 논리로 표현할 수 있는 프로그램은 정확히 조율 없이도 일관되게 실행될 수 있는 프로그램임을 규명한다.
• 정적 프로그램 분석을 활용하여 단조성을 검증함으로써, 조율 요구 사항을 조기에 탐지할 수 있다.
• 복잡한 런타임 조율 메커니즘을 대체하기 위해 선언적 의미론과 논리적 추론을 활용한다.
• Hogwild!과 RedBlue 일관성과 같은 기존 시스템과의 유사성을 제시하며, 확률적 및 확률적 설정으로의 확장을 제안한다.
• 단조성 성질을 활용하여 분산 시스템의 불변성과 수렴성에 대해 추론할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 분산 시스템에서 조율이 진정으로 필요한 시점은 언제이며, 언제 피할 수 있는가?
• RQ2 저장소 수준의 보장이 아닌 프로그램 수준의 성질이 조율 필요성을 결정할 수 있는가?
• RQ3 어떤 논리적 또는 의미론적 성질이 분산 프로그램이 조율 없이도 일관되게 실행될 수 있도록 보장하는가?
• RQ4 논리적 단조성이 어떻게 구성적으로 조율이 없는 분산 시스템을 설계하는 데 사용될 수 있는가?
• RQ5 CALM 정리는 확률적 또는 근사 계산 모델, 예를 들어 확률적 경사 하강법(stochastic gradient descent)과 같은 모델로 확장될 수 있는가?

주요 결과

• CALM 정리는 분산 프로그램이 단조성 논리로 표현 가능할 때에만 조율 없이도 실행될 수 있음을 증명한다.
• 비단조성 프로그램은 일관된 실행을 보장하기 위해 본질적으로 조율이 필요하므로, 이러한 경우 조율은 피할 수 없다.
• 조율이 없는 구현 방식, 예를 들어 Anna 키-값 스토어는 조율 오버헤드를 제거함으로써 100배 이상의 성능 향상을 달성할 수 있다.
• 단조성이 정적 분석을 통해 일관성을 검증할 수 있도록 하여, 비용이 많이 드는 런타임 검사나 조율 프로토콜에 대한 의존도를 감소시킨다.
• 정리에서는 CAP와 같은 부정적 결과에 대한 구성적 대안을 제공하며, 조율 없이 해결할 수 있는 광범위한 문제의 집합을 규명한다.
• Hogwild!에서의 슈퍼마르팅겔 등 확률적 모델로의 확장은 단조성을 확률적 수렴으로 일반화할 수 있는 잠재적 길을 제시한다.