[논문 리뷰] Mastering Concurrent Computing Through Sequential Thinking: A Half-century Evolution

Sergio Rajsbaum, Michel Raynal|arXiv (Cornell University)|2018. 12. 14.

Distributed systems and fault tolerance참고 문헌 59인용 수 4

한 줄 요약

이 논문은 지난 50년간 동시성 컴퓨팅의 발전을 추적하며, 동시성 문제를 순차적 추론으로 환원하는 것이 주로 분산 시스템, 블록체인, 장애 내성 컴퓨팅 분야에서 진전을 이끌어낸 주요 패러다임임을 주장한다. 이 접근법은 성공을 거두었지만, 특히 본질적으로 동시성 문제이거나 고가용성 또는 확장성을 요구하는 시스템에서는 성능, 일관성, 표현력 측면에서 근본적인 한계를 지닌다.

ABSTRACT

Concurrency, the art of doing many things at the same time is slowly becoming a science. It is very difficult to master, yet it arises all over modern computing systems, both when the communication medium is shared memory and when it is by message passing. Concurrent programming is hard because it requires to cope with many possible, unpredictable behaviors of communicating processes interacting with each other. Right from the start in the 1960s, the main way of dealing with concurrency has been by reduction to sequential reasoning. We trace this history, and illustrate it through several examples, from early ideas based on mutual exclusion, passing through consensus and concurrent objects, until today ledgers and blockchains. We conclude with a discussion on the limits that this approach encounters, related to fault-tolerance, performance, and inherently concurrent problems.

연구 동기 및 목표

• 순차적 추론을 통합적 패러다임로 삼아, 지난 50년간 동시성 컴퓨팅의 역사를 추적한다.
• 성공적인 동시성 시스템을 뒷받침하는 핵심 개념적 도구—순차적 명세, 일관성 조건, 합의, 동기화—를 규명한다.
• 현대 분산 시스템에서 순차적 추론 접근법의 한계를 분석한다. 특히 장애 내성, 성능, 본질적으로 동시성 문제에 초점을 맞춘다.
• 블록체인과 분산 레지스트리와 같은 현대 시스템이 고전적 순차 추론 추상화를 어떻게 도전하거나 확장하는지 고찰한다.
• CAP 정리와 최종 일관성의 관점에서 분산 시스템에서 일관성, 가용성, 성능 간의 상충 관계를 탐색한다.

제안 방법

• 공유 메모리에서의 상호 배제부터 합의와 상태 기반 복제에 이르기까지 동시성 시스템의 역사를 분석한다.
• 순차적 명세를 동시 객체의 명세 기반으로 사용하여 선형성과 일관성 조건을 통해 정확성을 확보한다.
• 일반적인 구성 기법을 적용하여 합의 및 전체 순서 브로드캐스트와 같은 기본 원자성으로 복제된 상태 기반 머신을 구축한다.
• 블록체인 시스템을 순차적 추론의 현대적 응용 사례로 분석하며, 일시적인 분기와 최종 일관성으로 인해 엄격한 선형성의 요구를 완화함으로써 확장성을 확보한다.
• 순서 있는 레지스트리(예: 비트코인)와 부분적으로 순서가 지정된 레지스트리(예: 아이오타, 해시그래프)를 비교함으로써 분산 레지스트리의 성능 상충 관계를 평가한다. 이는 통신 오버헤드를 감소시킨다.
• ABD 알고리즘과 CAP 정리와 같은 형식적 모델을 활용하여 동시성 시스템에서 일관성과 가용성의 한계를 분석한다.

실험 결과

연구 질문

• RQ1 지난 50년간 동시 프로그래밍을 순차적 추론으로 환원하는 방식이 분산 시스템의 설계와 정확성에 어떤 영향을 미쳤는가?
• RQ2 본질적으로 동시성 문제거나 고가용성 요구를 받는 시스템에서 순차적 명세와 선형성의 기본적 한계는 무엇인가?
• RQ3 최종 일관성과 블록체인 시스템에서 관찰되는 바와 같이 일관성 보장을 완화함으로써 성능과 확장성을 얼마나 향상시킬 수 있는가?
• RQ4 강력한 일관성을 목표로 하는 시스템이 왜 일시적인 일관성 오류(예: 분기)를 수용하는가?
• RQ5 순차적 명세로는 포괄할 수 없는 본질적으로 동시성 문제들이 존재하는가? 만약 그렇다면, 그에 대한 대안은 무엇인가?

주요 결과

• 순차적 추론 패러다임은 동시성 시스템 개발의 중심에 있었으며, 순차적 명세와 일관성 조건를 통해 형식적 명세와 검증을 가능하게 했다.
• 선형성은 강력한 정확성 보장을 제공하지만 실무에서는 비용이 많이 들며, 일반적으로 성능과 가용성을 향상시키기 위해 완화된다.
• 비트코인과 같은 블록체인은 일관성의 상충 관계를 반영한다. 일시적인 분기는 강력한 일관성을 위반하지만, 충분한 깊이에 도달하면 최종적으로 일관성이 확보된다.
• 방향성 비순환 그래프(DAG) 기반 분산 레지스트리(예: 아이오타, 해시그래프)는 전역 순서를 피하고 통신 오버헤드를 감소시킴으로써 더 높은 확장성을 달성한다.
• CAP 정리는 일관성, 가용성, 파artition 내성의 동시에 달성할 수 없음을 설명하며, 많은 분산 시스템에서 일시적인 일관성 오류가 피할 수 없다는 이유를 밝힌다.
• 모든 동시성 문제들이 순차적 명세로 포괄될 수 있는 것은 아니며, 이는 특히 동적 또는 고도로 동시성 특성을 지닌 환경에서 순차적 추론 접근법의 근본적인 경계를 시사한다.