[논문 리뷰] Compressed Differential Erasure Codes for Efficient Archival of Versioned Data

J. Harshan, Anwitaman Datta외 1명|arXiv (Cornell University)|2015. 03. 17.

Advanced Data Storage Technologies참고 문헌 9인용 수 3

한 줄 요약

이 논문은 압축 감쇠 코딩(Compressed Sensing)과 오류 복구 코딩(eraser coding)을 사용하여 연속된 데이터 버전 간의 희박한 차이(deltas)만 인코딩함으로써, 버전이 관리되는 데이터를 효율적으로 저장하는 새로운 기법인 압축된 차등 오류 복구 코딩(Compressed Differential Erasure Coding, DEC)을 제안한다. 이 방법은 특히 인-place 업데이트와 실제 삽입/삭제 패턴에서 Rsync 기반 시스템 대비 최대 60%의 스토리지 오버헤드 감소를 달성하며, 최신 버전에 대한 액세스 시 효율적인 I/O 성능도 유지한다.

ABSTRACT

In this paper, we study the problem of storing an archive of versioned data in a reliable and efficient manner in distributed storage systems. We propose a new storage technique called differential erasure coding (DEC) where the differences (deltas) between subsequent versions are stored rather than the whole objects, akin to a typical delta encoding technique. However, unlike delta encoding techniques, DEC opportunistically exploits the sparsity (i.e., when the differences between two successive versions have few non-zero entries) in the updates to store the deltas using compressed sensing techniques applied with erasure coding. We first show that DEC provides significant savings in the storage size for versioned data whenever the update patterns are characterized by in-place alterations. Subsequently, we propose a practical DEC framework so as to reap storage size benefits against not just in-place alterations but also real-world update patterns such as insertions and deletions that alter the overall data sizes. We conduct experiments with several synthetic workloads to demonstrate that the practical variant of DEC provides significant reductions in storage overhead (up to 60\% depending on the workload) compared to baseline storage system which incorporates concepts from Rsync, a delta encoding technique to store and synchronize data across a network.

연구 동기 및 목표

• 고전적인 오류 복구 코딩과 델타 인코딩 기법이 높은 스토리지 및 I/O 오버헤드를 유발하는 다수의 데이터 버전 저장에 비효율적인 점을 해결하기 위해.
• 특히 인-place 업데이트 상황에서 발생하는 버전 간 차이(deltas)의 희박성(sparse)을 활용하여 스토리지 감소를 도모하기 위해.
• 삽입 및 삭제로 인해 데이터 크기가 변하는 실제 업데이트 패턴에 견딜 수 있는 실용적인 DEC 프레임워크를 설계하기 위해.
• 특히 다양한 업데이트 희박성과 분포 조건에서 Rsync 기반 시스템에 비해 뚜렷한 스토리지 절감 효과를 달성하기 위해.
• 자주 액세스되는 최신 버전에 대한 I/O 성능을 최적화하면서도 이전 버전에 대한 오버헤드는 최소화하기 위해.

제안 방법

• 연속된 데이터 버전 간의 희박한 델타에 대해 압축 감쇠 코딩을 적용하여 인코딩할 기호 수를 감소시킨다.
• 압축된 델타에 대해 오류 복구 코딩을 적용하여 장애에 대한 내성을 확보하고 신뢰성 있는 복구를 보장한다.
• 델타의 희박 수준에 따라 다른 오류 복구 코딩을 적용하는 다단계 DEC 체계를 도입한다 (예: $\frac{k}{2}$-level 또는 이중 수준 체계).
• 삽입 및 삭제로 인해 코딩 단위에서 리플링 효과가 발생하는 것을 방지하기 위해 비트 스트리핑(bit striping)을 활용한다.
• 개별 이전 버전에 액세스할 경우와 일괄 액세스일 경우의 I/O 오버헤드를 균형 있게 조절하기 위한 휴리스틱 기법을 설계한다.
• 객체 크기 변화가 발생하더라도 고정 크기의 코딩 블록을 유지하기 위해 0 패딩과 청크 기반 전략을 통합한다.

실험 결과

연구 질문

• RQ1 압축 감쇠 코딩과 오류 복구 코딩을 조합하여 희박한 업데이트가 발생하는 버전 관리 데이터의 스토리지 오버헤드를 줄일 수 있는가?
• RQ2 삽입 및 삭제로 인해 데이터 크기가 변하는 실제 업데이트 패턴에서 제안된 DEC 프레임워크는 어떤 성능을 보이는가?
• RQ3 개별 이전 버전 액세스와 최신 버전 액세스 간의 스토리지 절감과 I/O 성능 간의 상충 관계는 어떠한가?
• RQ4 다양한 업데이트 희박성과 분포 조건에서 DEC의 스토리지 효율성은 Rsync 기반 시스템에 비해 어떻게 비교되는가?
• RQ5 삽입과 같은 크기 변경 업데이트에 강건하면서도 고성능 스토리지 절감을 유지할 수 있는 실용적인 DEC 프레임워크는 가능한가?

주요 결과

• BURSTY 및 분산된 삽입 워크로드 조건에서 DEC는 Rsync 기반 시스템 대비 최대 60%의 스토리지 오버헤드 감소를 달성한다.
• $\frac{k}{2}$-level DEC 체계는 버스트형 및 분산 삽입 상황에서 모두 Rsync를 능가하며, 이중 수준 DEC는 버스트형 삽입에서만 Rsync를 능가한다.
• 업데이트가 인-place이고 희박한 경우에 스토리지 절감 효과가 가장 크며, 밀도 높거나 비트 단위의 변화에서는 절감 효과가 감소한다.
• 최신 버전을 읽는 데 있어 최적화된 역방향 DEC를 적용한 후에도 기준 시스템과 거의 동일한 I/O 성능을 유지한다.
• 비트 스트리핑은 삽입 및 삭제로 인한 리플링 효과를 완화하여 복구성과 효율성을 동시에 향상시키며, 스토리지 효율성도 손상시키지 않는다.
• 실증적 평가 결과, 임계값 $T_{\text{opt}}$를 적용한 이중 수준 DEC는 희박성 수준이 예측 가능할 경우에 상당한 절감 효과를 보였다.