[논문 리뷰] A Robust Fault-Tolerant and Scalable Cluster-wide Deduplication for Shared-Nothing Storage Systems

Awais Khan, Chang-Gyu Lee외 3명|arXiv (Cornell University)|2018. 03. 21.

Advanced Data Storage Technologies참고 문헌 13인용 수 3

한 줄 요약

이 논문은 셰프와 같은 공유 자원이 없는 스토리지 시스템을 위한 확장성 있고 장애 내성적이며 클러스터 전반의 중복 제거 프레임워크를 제안한다. 콘텐츠 기반 지문과 태그된 일관성 메커니즘을 사용하여 메타데이터 병목 현상과 거래 무결성을 보장한다. 이 방법은 최소한의 성능 오버헤드로 높은 스토리지 효율성을 달성하고 고장 복구 능력이 뛰어나다.

ABSTRACT

Deduplication has been largely employed in distributed storage systems to improve space efficiency. Traditional deduplication research ignores the design specifications of shared-nothing distributed storage systems such as no central metadata bottleneck, scalability, and storage rebalancing. Further, deduplication introduces transactional changes, which are prone to errors in the event of a system failure, resulting in inconsistencies in data and deduplication metadata. In this paper, we propose a robust, fault-tolerant and scalable cluster-wide deduplication that can eliminate duplicate copies across the cluster. We design a distributed deduplication metadata shard which guarantees performance scalability while preserving the design constraints of shared- nothing storage systems. The placement of chunks and deduplication metadata is made cluster-wide based on the content fingerprint of chunks. To ensure transactional consistency and garbage identification, we employ a flag-based asynchronous consistency mechanism. We implement the proposed deduplication on Ceph. The evaluation shows high disk-space savings with minimal performance degradation as well as high robustness in the event of sudden server failure.

연구 동기 및 목표

• 기존에 메타데이터 병목 현상과 장애 발생 시 일관성 문제로 악화되는 공유 자원이 없는 스토리지 시스템(SN-SS)에서 확장 가능하고 장애 내성적인 중복 제거의 부족을 해결한다.
• 중앙 집중식 중복 제거 메타데이터 서버와 비효율적인 DB-샤딩 기법의 한계를 극복하여 스토리지 재균형 과정에서 브로드캐스트된 검색과 높은 I/O 오버헤드를 방지한다.
• 비용이 많이 드는 저널링 또는 체크포인팅 메커니즘에 의존하지 않고도 거래 일관성과 쓰레기 청소 청크 탐지 기능을 보장한다.
• 공유 자원이 없는 아키텍처를 유지하면서도 클러스터 전반의 중복 청크 탐지와 효율적인 메타데이터 관리를 가능하게 하는 시스템을 설계한다.

제안 방법

• 모든 스토리지 샤드에 걸쳐 메타데이터 브로드캐스트 검색이 필요 없도록 데이터 청크의 콘텐츠 기반 지문을 사용해 클러스터 내 전역 위치를 결정한다.
• 객체 스토리지 서버와 함께 공유되는 분산 중복 제거 메타데이터 샤드(DM-Shard)를 구현하여 공유 자원이 없는 특성을 유지하고 수평적 확장성을 확보한다.
• 각 청크 또는 객체별 커밋 플래그를 사용한 비동기 태그 일관성 메커니즘을 도입하여 I/O 차단이나 거래 락이 필요 없이 거래 상태를 추적한다.
• Ceph의 CRUSH 기반 데이터 배치를 활용하여 균형 잡힌 로드 분포와 지문을 통한 효율적인 청크 위치 확인을 보장한다.
• 태그 일관성 모델을 활용해 실패한 거래에서 발생한 쓰레기 청크를 자동으로 탐지하고 정리할 수 있도록 설계한다.
• 해당 솔루션을 Ceph에 통합하고 다양한 워크로드 및 장애 시나리오를 적용한 실제 테스트 베드를 통해 평가한다.

실험 결과

연구 질문

• RQ1 공유 자원이 없는 스토리지 시스템에서 메타데이터를 어떻게 확장하고 분산화할 수 있으며, 중앙 집중적 병목 현상이나 과도한 I/O 오버헤드를 피할 수 있는가?
• RQ2 갑작스러운 스토리지 서버 장애 상황에서도 분산 중복 제거 시스템에서 거래 일관성과 장애 내성성을 확보하기 위한 메커니즘은 무엇인가?
• RQ3 콘텐츠 기반 청크 지문은 클러스터 전반의 중복 제거 환경에서 메타데이터 검색 효율을 어떻게 향상시키고 브로드캐스트 쿼리를 줄이는가?
• RQ4 기존의 락 기반 또는 로깅 기반 일관성 모델에 비해 제안된 태그 일관성 메커니즘이 성능 오버헤드를 얼마나 줄이는가?
• RQ5 디스크 수가 증가함에 따라 제안된 클러스터 전반 중복 제거 방식이 로컬 디스크 기반 중복 제거와 비교해 스토리지 효율성에서 어떤 차이를 보이는가?

주요 결과

• 클러스터 전반 중복 제거 방식은 1~8개 디스크에서 평균 85%의 스토리지 공간 절감을 달성하지만, 디스크 기반 중복 제거는 8개 디스크에서 61%로 절감률이 떨어지며 교차 디스크 중복 탐지 기능 부족으로 인한 것이다.
• 32개의 클라이언트 스레드 상황에서 중앙 집중식 중복 제거 방식은 메타데이터 서버 경쟁으로 인해 대역폭이 200 MB/s로 저하되는 반면, 제안된 클러스터 전반 방식은 확장성을 유지하며 동시성 증가에 따라 대역폭이 향상된다.
• 비동기 태그 일관성 메커니즘은 청크 수준 및 객체 수준의 일관성 모델 대비 극히 낮은 성능 오버헤드를 보이며, 거래 락으로 인한 15% 이상의 성능 저하를 겪는 기존 모델과 대비된다.
• 갑작스러운 서버 장애 상황에서도 시스템은 쓰레기 청크를 정확히 탐지하고 처리할 수 있으며, 추가 모니터링이나 저널링 기능 없이도 높은 내구성을 확보한다.
• 확장성 분석 결과, 분산 메타데이터와 로드 인식 기반의 CRUSH 배치 덕분에 고 I/O 경쟁 상황에서도 제안된 시스템이 중앙 집중식 중복 제거보다 뛰어난 성능을 보이며, 클라이언트 스레드 수 증가에 따라 대역폭이 증가한다.
• 중앙 집중식 메타데이터 서버가 필요 없고, 브로드캐스트 메타데이터 검색도 피할 수 있어 공유 자원이 없는 아키텍처에서 효율적이고 확장 가능한 클러스터 전반 중복 제거를 실현한다.