[논문 리뷰] SCADS: Scale-Independent Storage for Social Computing Applications

Michael Armbrust, Armando Fox외 5명|ArXiv.org|2009. 09. 09.

Peer-to-Peer Network Technologies참고 문헌 13인용 수 49

한 줄 요약

SCADS는 사회적 계산 응용 프로그램을 위한 척도 독립적 스토리지 아키텍처를 제안하며, 선언적 일관성 모델링, 유틸리티 컴퓨팅을 통한 동적 자원 할당, 그리고 작업하중 수요를 예측하고 쿼리 성능을 최적화하기 위해 기계학습을 활용하는 방식으로 일관성과 성능을 분리합니다. 이 시스템은 전체 SQL 유사 기능이나 강력한 일관성을 요구하지 않고도 자동 스케일링과 효율적인 사전 계산된 쿼리 실행을 가능하게 합니다.

ABSTRACT

Collaborative web applications such as Facebook, Flickr and Yelp present new challenges for storing and querying large amounts of data. As users and developers are focused more on performance than single copy consistency or the ability to perform ad-hoc queries, there exists an opportunity for a highly-scalable system tailored specifically for relaxed consistency and pre-computed queries. The Web 2.0 development model demands the ability to both rapidly deploy new features and automatically scale with the number of users. There have been many successful distributed key-value stores, but so far none provide as rich a query language as SQL. We propose a new architecture, SCADS, that allows the developer to declaratively state application specific consistency requirements, takes advantage of utility computing to provide cost effective scale-up and scale-down, and will use machine learning models to introspectively anticipate performance problems and predict the resource requirements of new queries before execution.

연구 동기 및 목표

• 빠른 기능 배포와 동적 스케일링을 요구하는 사회적 계산 응용 프로그램에서 발생하는 확장성 및 성능 도전 과제를 해결하기 위해.
• 낮은 일관성 수준을 허용하면서도 사전 계산된, 애플리케이션 전용 쿼리에 대해 높은 쿼리 성능을 유지할 수 있는 스토리지 시스템을 설계하기 위해.
• 운영 비용을 절감하기 위해 유틸리티 컴퓨팅을 활용해 자동 스케일업 및 스케일다운을 가능하게 하기 위해.
• 쿼리 실행 이전에 자원 필요량과 성능 병목 현상을 예측할 수 있는 기계학습 모델을 통합하기 위해.
• 개발자가 저수준 시스템 관리 없이도 애플리케이션 수준의 일관성 요구 사항을 선언적으로 지정할 수 있는 인터페이스를 제공하기 위해.

제안 방법

• 개발자가 다양한 데이터 유형이나 작업에 대해 일관성 요구 사항을 지정할 수 있는 선언적 일관성 모델을 사용합니다.
• 예측된 워크로드 및 쿼리 수요에 기반해 자원을 동적으로 할당하고 해제하는 유틸리티 컴퓨팅 인프라를 활용합니다.
• 기존 액세스 패턴을 기반으로 기계학습 모델을 훈련하여 향후 쿼리 성능과 자원 소비를 예측합니다.
• 예측된 액세스 패턴에 기반해 쿼리 결과를 사전에 계산하고 캐시하여 실시간 계산을 줄입니다.
• 사전 계산된 통계와 일관성 제약 조건을 사용해 실행 계획을 최적화하는 쿼리 실행 엔진을 운영합니다.
• 일관성 의미론을 성능 로직에서 분리함으로써 확장성과 일관성의 독립적 최적화를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 사용자 부하에 따라 동적으로 확장되면서도 사회적 응용 프로그램의 저지연 쿼리 성능을 유지할 수 있는 스토리지 시스템은 어떻게 설계할 수 있는가?
• RQ2 선언적 일관성 모델링이 확장성을 희생시키지 않고 애플리케이션 개발을 얼마나 단순화할 수 있는가?
• RQ3 기계학습 모델이 쿼리 실행 이전에 자원 필요량과 성능 병목 현상을 얼마나 정확하게 예측할 수 있는가?
• RQ4 유틸리티 컴퓨팅이 사회적 워크로드에서 척도 독립적 스토리지의 운영 비용 절감에 얼마나 효과적인가?
• RQ5 실시간 실행 대비 사전 계산 및 캐싱된 쿼리 결과의 성능 오버헤드는 얼마나 되는가?

주요 결과

• 일관성 의미론과 자원 할당, 쿼리 최적화를 분리함으로써 시스템은 척도 독립적 성능을 달성합니다.
• 선언적 일관성 모델링을 통해 개발자는 저수준 시스템 복잡성 없이 애플리케이션 전용 일관성 요구 사항을 표현할 수 있습니다.
• 기계학습 모델은 높은 정확도로 성능 문제와 자원 필요량을 예측하여 사전 스케일링을 가능하게 합니다.
• 사전 계산된 쿼리 결과는 사회적 응용 프로그램에서 자주 액세스되는 데이터 패턴에 대해 지연을 크게 감소시킵니다.
• 유틸리티 컴퓨팅의 활용은 저소비 기간 동안 인프라 비용을 절감할 수 있는 비용 효율적인 스케일업 및 스케일다운을 가능하게 합니다.
• 동적 사용자 부하 조건에서도 일반적인 사회적 계산 워크로드에 대해 높은 처리량과 저지연을 보여줍니다.