[논문 리뷰] Building on Quicksand

Pat Helland, David G. Campbell|ArXiv.org|2009. 09. 09.

Distributed systems and fault tolerance참고 문헌 14인용 수 36

한 줄 요약

이 논문은 대규모 컴ponent 장애가 발생하는 환경에서 최종 일관성과 확률적 보장을 수용함으로써 고가용성 분산 시스템을 구축하는 모델을 제안한다. 주 시스템의 확인과 백업 동기화를 분리함으로써, 일시적인 일관성 손실을 감수하면서도 저지연 응답성을 달성한다. 응용 프로그램은 재시도나 상태 병합을 통해 최종 일관성을 처리해야 한다.

ABSTRACT

Reliable systems have always been built out of unreliable components. Early on, the reliable components were small such as mirrored disks or ECC (Error Correcting Codes) in core memory. These systems were designed such that failures of these small components were transparent to the application. Later, the size of the unreliable components grew larger and semantic challenges crept into the application when failures occurred. As the granularity of the unreliable component grows, the latency to communicate with a backup becomes unpalatable. This leads to a more relaxed model for fault tolerance. The primary system will acknowledge the work request and its actions without waiting to ensure that the backup is notified of the work. This improves the responsiveness of the system. There are two implications of asynchronous state capture: 1) Everything promised by the primary is probabilistic. There is always a chance that an untimely failure shortly after the promise results in a backup proceeding without knowledge of the commitment. Hence, nothing is guaranteed! 2) Applications must ensure eventual consistency. Since work may be stuck in the primary after a failure and reappear later, the processing order for work cannot be guaranteed. Platform designers are struggling to make this easier for their applications. Emerging patterns of eventual consistency and probabilistic execution may soon yield a way for applications to express requirements for a "looser" form of consistency while providing availability in the face of ever larger failures. This paper recounts portions of the evolution of these trends, attempts to show the patterns that span these changes, and talks about future directions as we continue to "build on quicksand".

연구 동기 및 목표

• 대규모 분산 시스템에서 동기 백업 통신으로 인해 발생하는 시스템 지연 문제를 해결하기 위해.
• 현대 분산 시스템에서 장애 내성의 타당한 모델로 강한 일관성에서 최종 일관성으로의 전환을 제안하기 위해.
• 주 시스템이 백업 복제를 확인하기 전에 요청을 확인함으로써 시스템 가용성과 반응성을 향상시키기 위해.
• 플랫폼 설계자와 응용 프로그램 개발자가 느슨한 일관성 요구 사항을 표현하고 관리하는 데 도움을 주기 위해.
• 신뢰할 수 없는 환경에서의 확률적 실행 및 상태 관리에 대한 새로운 패턴을 식별하고 체계화하기 위해.

제안 방법

• 주 시스템이 백업 복제를 확보하기 전에 요청을 확인하는 비동기 상태 캡처 모델을 도입한다.
• 확률적 보장을 기반으로 하며, 백업이 알리지 못한 경우 주 시스템의 약속이 실패할 수 있음을 수반한다.
• 재정렬이나 중복을 고려하여 최종 일관성을 확보하기 위해 비가역적 연산과 상태 병합을 활용한다.
• 약속이 이루어진 후 바로 실패가 발생하는 것을 견딜 수 있도록 시스템을 설계하며, 이러한 실패는 드물다고 가정한다.
• 동기 조율에 의존하는 대신, 응용 프로그램 수준의 논리로 일관성 오류를 탐지하고 해결한다.
• 버전 벡터와 충돌 없는 복제 데이터 유형(CRDTs)과 같은 패턴을 설계 원칙을 통해 암시적으로 활용한다.

실험 결과

연구 질문

• RQ1 동기 백업 통신이 수용할 수 없는 지연을 유발할 경우, 시스템의 반응성을 어떻게 향상시킬 수 있는가?
• RQ2 분산 시스템에서 요청 확인과 백업 복제를 분리할 경우 어떤 영향을 미치는가?
• RQ3 확률적 보장과 장애 이후 잠재적 데이터 손실 상황에서 응용 프로그램은 어떻게 정확성과 일관성을 확보할 수 있는가?
• RQ4 스케일링 가능한 환경에서 본질적으로 불안정한 컴포넌트에 기반해 신뢰성 있는 시스템을 구축하는 데 어떤 아키텍처 패턴이 필요한가?
• RQ5 플랫폼은 개발자가 최종 일관성을 관리하고 예측 가능하게 만들 수 있도록 어떤 추상화를 노출해야 하는가?

주요 결과

• 비동기 상태 캡처는 백업 확인 대기 시간을 제거함으로써 시스템 반응성을 크게 향상시킨다.
• 이 모델은 확률적 보장을 도입한다: 어떤 약속도 완전히 보장되지 않지만, 실패 확률은 낮고 관리 가능하다.
• 응용 프로그램은 최종 일관성을 처리하기 위해 비가역적 연산과 장애 후 상태 병합을 설계해야 한다.
• 강한 일관성에서 최종 일관성으로의 전환은 대규모 분산 시스템에서 더 높은 가용성과 확장성을 가능하게 한다.
• 비가역성과 충돌 해결과 같은 새로운 패턴은 신뢰할 수 없는 컴포넌트에 기반한 신뢰성 있는 시스템을 구축하는 데 필수적이다.
• 이 논문은 패러다임 전환을 식별한다: 시스템은 우연이 아니라 설계상으로 '모래언덕'—불안정한 기반—을 기반으로 해야 한다.