[논문 리뷰] ASURA: Scalable and Uniform Data Distribution Algorithm for Storage Clusters

Ken-ichiro Ishikawa|arXiv (Cornell University)|2013. 09. 30.

Advanced Data Storage Technologies참고 문헌 24인용 수 11

한 줄 요약

ASURA는 노드 추가/제거 시 데이터 이동을 최소화하고, 하위 마이크로초 계산 시간을 보장하며, 분포 변동성이 1% 미만을 유지하고 노드 용량을 고려하는 스토리지 클러스터를 위한 확장 가능하고 균일한 데이터 분배 알고리즘입니다. 대규형 스토리지 시스템에서 부하 균형과 고성능을 달성하기 위해 랜덤화된 용량 인지 해싱 기반의 접근 방식을 사용합니다.

ABSTRACT

Large-scale storage cluster systems need to manage a vast amount of data locations. A naive data locations management maintains pairs of data ID and nodes storing the data in tables. However, it is not practical when the number of pairs is too large. To solve this problem, management using data distribution algorithms, rather than management using tables, has been proposed in recent research. It can distribute data by determining the node for storing the data based on the datum ID. Such data distribution algorithms require the ability to handle the addition or removal of nodes, short calculation time and uniform data distribution in the capacity of each node. This paper proposes a data distribution algorithm called ASURA (Advanced Scalable and Uniform storage by Random number Algorithm) that satisfies these requirements. It achieves following four characteristics: 1) minimum data movement to maintain data distribution according to node capacity when nodes are added or removed, even if data are replicated, 2) roughly sub-micro-seconds calculation time, 3) much lower than 1% maximum variability between nodes in data distribution, and 4) data distribution according to the capacity of each node. The evaluation results show that ASURA is qualitatively and quantitatively competitive against major data distribution algorithms such as Consistent Hashing, Weighted Rendezvous Hashing and Random Slicing. The comparison results show benefits of each algorithm; they show that ASURA has advantage in large scale-out storage clusters.

연구 동기 및 목표

• 동적 노드 구성 환경에서 대규형 스토리지 클러스터를 관리하는 데서 발생하는 확장성과 효율성 문제를 해결한다.
• 노드 추가 또는 제거 시에도 데이터 분포의 균일성을 유지하면서 데이터 이동을 최소화한다.
• 고처리량 스토리지 시스템을 지원하기 위해 데이터 위치 계산의 저지연을 달성한다.
• 자원 활용도 향상을 위해 데이터 분포를 노드 용량에 비례하도록 보장한다.
• 대규형 환경에서 기존 알고리즘인 일관된 해싱(Consistent Hashing)과 가중치가 부여된 레지스터 해싱(Weighted Rendezvous Hashing)에 대한 강력한 대안을 제공한다.

제안 방법

• 노드 가중치를 기반으로 데이터 ID를 스토리지 노드에 매핑하는 랜덤화된 용량 인지 해싱 메커니즘을 제안한다.
• 균일한 분포를 보장하기 위해 노드 할당을 결정하기 위한 균일한 난수 생성 전략을 사용한다.
• 노드 용량을 통합한 수정된 해싱 함수를 적용하여 부하를 비례적으로 균형 잡는다.
• 랜덤화를 활용해 재분배 범위를 제한함으로써 노드 추가 또는 제거 시 오직 일부 데이터만 재할당되도록 최소화한다.
• 하나의 작고 결정론적인 계산 모델을 활용해 마이크로초 이하의 검색 시간을 보장한다.
• 데이터 복제를 지원하기 위해 알고리즘을 확장하여 서로 다른 노드에 여러 복제본을 할당하면서도 부하 균형을 유지한다.

실험 결과

연구 질문

• RQ1 동적 노드 구성 조건 하에서 스토리지 클러스터의 데이터 분포를 어떻게 확장 가능하고 균일하게 만들 수 있는가?
• RQ2 노드 추가 또는 제거 시 부하 균형을 유지하면서 필요한 최소한의 데이터 이동은 얼마인가?
• RQ3 해싱 기반 알고리즘이 데이터 위치 매핑에 대해 마이크로초 이하의 계산 시간을 달성할 수 있는가?
• RQ4 다양한 용량을 가진 노드 간에서 데이터 분포 변동성을 1% 이하로 줄일 수 있는 정도는 어느 정도인가?
• RQ5 기존 알고리즘인 일관된 해싱(Consistent Hashing)과 가중치가 부여된 레지스터 해싱(Weighted Rendezvous Hashing)에 비해 성능 및 확장성 측면에서 제안된 알고리즘이 어떻게 비교되는가?

주요 결과

• ASURA는 노드 간 데이터 분포의 최대 변동성이 1% 미만으로 유지되어 전통적 방법에 비해 균일성 측면에서 뚜렷한 우수성을 보였다.
• 노드 추가 또는 제거 시 데이터 이동이 최소화되어 재배치가 필요한 데이터 비율이 매우 낮았다.
• 데이터 위치 매핑에 대한 계산 시간은 항상 마이크로초 이하로 일관되게 유지되어 고처리량 운영을 가능하게 했다.
• 알고리즘은 노드 용량에 비례하여 데이터 분포를 효과적으로 균형 잡아 자원 활용도를 향상시켰다.
• 평가 결과, ASURA는 대규형 클러스터 배포 환경에서 일관된 해싱, 가중치가 부여된 레지스터 해싱, 랜덤 슬라이싱(Random Slicing)을 모두 초월하는 성능을 보였다.
• 노드 교체 빈도가 높거나 복제 시나리오가 적용될 경우에도 ASURA는 강력한 성능과 균일성을 유지했다.