[논문 리뷰] Synchronizing Edits in Distributed Storage Networks

Salim El Rouayheb, Sreechakra Goparaju외 2명|arXiv (Cornell University)|2014. 09. 04.

Advanced Data Storage Technologies참고 문헌 26인용 수 9

한 줄 요약

이 논문은 삭제 및 삽입을 포함하는 편집 모델 하에서 분산 스토리지 시스템을 위한 새로운 동기화 프로토콜을 제안하며, 버드모인드 및 코시 행렬을 사용한 중간 코드화 기법을 통해 저통신, 일회성 라운드 업데이트 및 최소한의 스토리지 오버헤드를 실현한다. 주요 기여는 기존의 비코드화 또는 업데이트 효율적인 코드화 기법에 비해 통신 비용을 악화 및 평균 경우 모두 크게 감소시킨 데 있다.

ABSTRACT

We consider the problem of synchronizing data in distributed storage networks under an edit model that includes deletions and insertions. We present two modifications of MDS, regenerating and locally repairable codes that allow updates in the parity-check values to be performed with one round of communication at low bit rates and using small storage overhead. Our main contributions are novel protocols for synchronizing both hot and semi-static data and protocols for data deduplication applications, based on intermediary permutation, Vandermonde and Cauchy matrix coding.

연구 동기 및 목표

• 편집(예: 삭제 및 삽입 포함)이 발생할 경우 표준 코드 기반 복구 및 수리 기능이 손상되는 상황에서 분산 스토리지 시스템에서 데이터를 효율적으로 동기화하는 문제 해결.
• 기존 동기화 방법이 비코드화 업데이트 또는 단순 치환만을 가정하는 데 한계가 있음을 고려해, 삽입 및 삭제를 전용으로 다룰 수 있는 프로토콜 설계.
• 특히 편집 위치를 알 수 없거나 빈번한 편집이 발생하는 경우, 사용자와 스토리지 노드 간의 통신 비용을 최소화.
• 코드 이론적 솔루션과 편집 인식 업데이트 메커니즘을 통합하여 핫 또는 반정적 데이터를 포함한 시스템에서 효율적인 데이터 중복 제거 및 동기화 실현.
• 동적 업데이트 중에도 MDS, 재생 가능한, 국소적으로 수리 가능한 코드와 같은 코드의 재생 및 수리 가능 성질을 유지.

제안 방법

• 일회성 통신 및 저비트율 업데이트를 가능하게 하기 위해 코드 표현 방식을 재구성하는 새로운 기법인 중간 코드화 도입.
• 버드모인드 및 코시 행렬을 사용해 노드 간 효율적인 업데이트 전파를 가능하게 하면서도 수리 및 복구 성질을 유지하는 코드화 기법 설계.
• 편집 위치를 알 수 없는 경우, 체크 노드에 바르샤모프-테넨골츠(VT) 심플로스 정보를 저장하여 최소한의 오버헤드로 삭제 위치 및 값 복구 가능.
• 체크 노드에만 추가로 인코딩된 VT 심플로스를 저장하는 시스템적 MDS 코드 적용으로 총 스토리지 비용을 k(log q + log ℓ)에서 2(n−k)log q 비트로 감소.
• 사용자가 일부 노드에서 확보한 심플로스를 이용해 삭제 위치 및 값을 복구할 수 있도록 프로토콜 설계하여 전체 데이터 복구 없이 功能 업데이트 가능.
• 집합 비용 함수 C_A(V)를 사용해 통신 비용 분석하며, 비용 최소화를 위해 심플로스 교환에 적합한 노드 집합 선택 필요.

실험 결과

연구 질문

• RQ1 편집이 치환 외에 삽입 및 삭제를 포함할 경우, 분산 스토리지 시스템이 어떻게 효율적으로 데이터를 동기화할 수 있는가?
• RQ2 업데이트 시 통신 비용을 최소화하면서도 스토리지 코드의 재생 및 수리 가능 성질을 유지할 수 있는 코드 및 통신 프로토콜은 무엇인가?
• RQ3 편집 위치를 알 수 없는 상황에서 중간 코드화를 사용해 동기화 오버헤드를 줄일 수 있으며, 그 최소 스토리지 오버헤드는 얼마인가?
• RQ4 제안된 프로토콜의 통신 비용은 악화 및 평균 경우 모두 기존의 비코드화 또는 치환 기반 업데이트 방식과 비교해 어떻게 되는가?
• RQ5 VT 심플로스 기반 복구를 사용할 경우, 스토리지 오버헤드와 통신 비용 간 최적의 트레이드오프는 무엇인가?

주요 결과

• 제안된 중간 코드화 기법은 특히 삭제를 다룰 경우 기존 방법 대비 악화 및 평균 경우 모두 통신 비용을 크게 감소시킨다.
• 편집 위치를 알 수 없는 경우, 체크 노드에 VT 심플로스를 저장함으로써 총 스토리지 오버헤드를 k(log q + log ℓ)에서 2(n−k)log q 비트로 감소시켜 상당한 절감 효과를 달성.
• θ ≤ (ℓ−1)log q / log ℓ 일 때, 집합 비용 C_A(V)는 V = [B]일 경우 최소가 되며, 이는 전체 노드 참여가 통신 효율을 최적화함을 의미.
• 코드화된 VT 심플로스를 사용하면 단일 삭제가 발생한 사용자가 오직 k개의 노드만으로도 삭제 위치 및 값을 복구할 수 있어 효율적인 기능 업데이트 가능.
• 중간 코드화를 통한 코드 변형에도 불구하고 프로토콜은 MDS, 재생 가능한, 국소적으로 수리 가능한 코드의 기능적 성질을 유지한다.
• 이론적 분석 결과, 기존 방법은 특히 삭제가 포함된 경우 제안된 방법보다 훨씬 높은 통신 비율을 요구함을 확인.