[논문 리뷰] Self-repairing Homomorphic Codes for Distributed Storage Systems

Frédérique Oggier, Anwitaman Datta|arXiv (Cornell University)|2010. 07. 31.

Advanced Data Storage Technologies참고 문헌 6인용 수 9

한 줄 요약

이 논문은 분산 저장소를 위한 새로운 종류의 에러 복구 코드인 자기 복구 히아로모픽 코드(SRCs)를 소개한다. 이는 특정 손실된 프래그먼트의 수를 고려하지 않고도 고정된 수의 다른 인코딩된 프래그먼트만을 사용하여 직접적이고 저대역폭으로 손실된 프래그먼트를 복구할 수 있도록 한다. 주요 기여는 통신 오버헤드를 최소화하면서도 병렬적이고 독립적인 복구를 가능하게 하여, 기존의 에러 복구 코드나 하이브리드 전략에 비해 지연 시간과 대역폭 사용을 크게 줄이는 것이다.

ABSTRACT

Erasure codes provide a storage efficient alternative to replication based redundancy in (networked) storage systems. They however entail high communication overhead for maintenance, when some of the encoded fragments are lost and need to be replenished. Such overheads arise from the fundamental need to recreate (or keep separately) first a copy of the whole object before any individual encoded fragment can be generated and replenished. There has been recently intense interest to explore alternatives, most prominent ones being regenerating codes (RGC) and hierarchical codes (HC). We propose as an alternative a new family of codes to improve the maintenance process, which we call self-repairing codes (SRC), with the following salient features: (a) encoded fragments can be repaired directly from other subsets of encoded fragments without having to reconstruct first the original data, ensuring that (b) a fragment is repaired from a fixed number of encoded fragments, the number depending only on how many encoded blocks are missing and independent of which specific blocks are missing. These properties allow for not only low communication overhead to recreate a missing fragment, but also independent reconstruction of different missing fragments in parallel, possibly in different parts of the network. We analyze the static resilience of SRCs with respect to traditional erasure codes, and observe that SRCs incur marginally larger storage overhead in order to achieve the aforementioned properties. The salient SRC properties naturally translate to low communication overheads for reconstruction of lost fragments, and allow reconstruction with lower latency by facilitating repairs in parallel. These desirable properties make self-repairing codes a good and practical candidate for networked distributed storage systems.

연구 동기 및 목표

• 에러 복구된 분산 저장소 시스템에서 복구를 위한 높은 통신 오버헤드 문제를 해결한다.
• 기존의 에러 복구 코드가 단일 프래그먼트를 복구하기 위해 전체 객체를 재구성해야 하는 한계를 극복한다.
• 어느 프래그먼트가 손실되었는지에 관계없이, 고정된 수의 다른 프래그먼트로부터 어떤 손실된 프래그먼트도 직접 복구할 수 있는 코딩 체계를 설계한다.
• 네트워크의 서로 다른 부분에서 병렬적이고 독립적인 복구를 가능하게 하여 복구 지연 시간을 줄인다.
• 저장소 효율성과 유지보수 성능 사이의 균형을 맞추기 위해, 복구 효율성 향상에 비해 저장소 오버헤드를 약간 증가시키는 방식을 도입한다.

제안 방법

• 히아로모픽 성질을 활용하여 다른 인코딩된 프래그먼트의 부분집합으로부터 직접 프래그먼트 재구성을 가능하게 하는 새로운 코드 가족인 자기 복구 코드(SRCs)를 제안한다.
• 모든 손실된 프래그먼트가 손실된 프래그먼트의 종류에 관계없이 정확히 두 개의 다른 인코딩된 프래그먼트로부터 재구성될 수 있도록 코딩 체계를 설계한다.
• 복구 과정이 대칭적이도록 보장한다: 모든 인코딩된 프래그먼트가 동일한 역할을 하며, 특정 프래그먼트 식별자에 의존하지 않는다.
• 유한체 기반의 구조적 대수적 구성 방식을 사용하여, 선형 조합을 통해 손실된 프래그먼트를 얻을 수 있도록 히아로모픽 재구성을 가능하게 한다.
• 유한체 위에서의 선형 방정식 시스템으로 복구 과정을 수식화하여, 어떤 손실된 프래그먼트도 유효한 두 개의 생존 프래그먼트로부터 복구 가능하도록 보장한다.
• 네트워크 코딩 원리를 통합하여 복구 작업 중 대역폭 사용을 최소화한다.

실험 결과

연구 질문

• RQ1 어느 프래그먼트가 손실되었는지에 관계없이, 고정된 수의 다른 프래그먼트로부터 직접 손실된 인코딩된 프래그먼트를 복구할 수 있는 코딩 체계를 설계할 수 있는가?
• RQ2 다양한 노드에서 병렬적이고 독립적인 복구를 어떻게 구현하여 총 복구 지연 시간을 줄일 수 있는가?
• RQ3 기존의 에러 복구 코드에 비해 이러한 코딩 체계에서 저장소 오버헤드와 유지보수 효율성 사이의 상호 교환 관계는 어떠한가?
• RQ4 실제 네트워크 기반 저장소 환경에서 제안된 코드가 하이브리드 복제나 레이지 복구 전략보다 낮은 통신 오버헤드를 달성할 수 있는가?
• RQ5 이러한 코드의 히아로모픽 구조는 전체 객체 재구성 없이도 효율적이고 확장 가능한 복구를 어떻게 가능하게 하는가?

주요 결과

• SRCs는 손실된 프래그먼트가 어떤 것이든 정확히 두 개의 다른 인코딩된 프래그먼트만으로도 직접 복구할 수 있으며, 이는 일관되고 예측 가능한 복구 복잡도를 보장한다.
• 일곱 개의 프래그먼트가 손실된 상황에서 SRCs를 사용하면 두 번의 시간 단위 안에 여섯 개의 프래그먼트를 재구성할 수 있었고, 전체 복제 시스템은 일곱 시간 단위, 기존의 에러 복구 코드는 아홉 시간 단위가 소요되었다.
• 복구 과정은 병렬 실행이 가능하다: 서로 다른 노드에서 여러 개의 손실된 프래그먼트를 동시에 재구성할 수 있어 총 지연 시간을 줄일 수 있다.
• SRCs에서는 전체 객체 재구성을 피함으로써 낮은 통신 오버헤드를 달성하여, 단순한 에러 복구 코드 복구 전략 대비 대역폭 사용을 줄였다.
• 제안된 방법은 하이브리드 복제(일곱 개의 복구에 일곱 시간 단위 소요)와 기존의 에러 복구 코드(예시에서 최소 아홉 시간 단위 소요)보다 빠른 복구를 달성한다.
• 기존의 에러 복구 코드에 비해 약간 증가된 저장소 오버헤드는 복구 효율성 향상 덕분에 상쇄되며, 이는 대규모 분산 저장소에서 실용적인 대안이 된다.