[논문 리뷰] Homomorphic Self-repairing Codes for Agile Maintenance of Distributed Storage Systems

Frédérique Oggier, Anwitaman Datta|arXiv (Cornell University)|2011. 07. 15.

Advanced Data Storage Technologies참고 문헌 8인용 수 11

한 줄 요약

이 논문은 분산 스토리지 시스템에서 유지보수 대역폭을 최소화하고 손실된 데이터 조각을 빠르고 병렬로 복구할 수 있도록 설계된 새로운 종류의 에러 수정 코드인 호모모르픽 자기 복구 코드(HSRC)를 소개한다. 기존의 전통적인 에러 수정 코드가 단일 조각을 복구하기 위해 원본 객체를 완전히 재구성해야 하는 데 반해, HSRC는 어떤 손실된 조각이라도 다른 고정된 수의 인코딩된 조각을 사용하여 전체 객체 크기보다 작거나 같은 데이터만 다운로드함으로써 복구할 수 있다. 이는 손실된 블록이 무엇이든 간에 동일한 방식으로 작동한다.

ABSTRACT

Distributed data storage systems are essential to deal with the need to store massive volumes of data. In order to make such a system fault-tolerant, some form of redundancy becomes crucial, incurring various overheads - most prominently in terms of storage space and maintenance bandwidth requirements. Erasure codes, originally designed for communication over lossy channels, provide a storage efficient alternative to replication based redundancy, however entailing high communication overhead for maintenance, when some of the encoded fragments need to be replenished in news ones after failure of some storage devices. We propose as an alternative a new family of erasure codes called self-repairing codes (SRC) taking into account the peculiarities of distributed storage systems, specifically the maintenance process. SRC has the following salient features: (a) encoded fragments can be repaired directly from other subsets of encoded fragments by downloading less data than the size of the complete object, ensuring that (b) a fragment is repaired from a fixed number of encoded fragments, the number depending only on how many encoded blocks are missing and independent of which specific blocks are missing. This paper lays the foundations by defining the novel self-repairing codes, elaborating why the defined characteristics are desirable for distributed storage systems. Then homomorphic self-repairing codes (HSRC) are proposed as a concrete instance, whose various aspects and properties are studied and compared - quantitatively or qualitatively with respect to other codes including traditional erasure codes as well as other recent codes designed specifically for storage applications.

연구 동기 및 목표

• 분산 스토리지에서 사용되는 전통적인 에러 수정 코드에서 단일 조각을 복구하기 위해 원본 객체를 재구성하기 위해 k개의 조각을 확보해야 하는 높은 유지보수 대역폭 오버헤드 문제를 해결한다.
• 스토리지 비효율성과 시스템 복잡성을 추가하는 복제 기반 하이브리드 전략의 한계를 극복한다.
• 네트워크 기반 스토리지 시스템에 특화된 새로운 종류의 에러 수정 코드—자기 복구 코드(SRC)—를 설계하여 효율적이고 확장 가능하며 안전한 데이터 복구를 가능하게 한다.
• 복구 작업이 유지보수 대역폭 효율적이며, 병렬 처리 가능하고, 손실된 특정 블록의 종류에 따라 달라지지 않도록 보장한다.
• 스토리지 효율성과 복구 효율성 사이의 트레이드오프를 탐색하여, 스토리지량의 약간의 증가가 복구 성능 향상과 시스템 내성 강화에 상당한 기여를 할 수 있음을 보여준다.

제안 방법

• 자기 복구 코드(SRC)를 선형 코드로 정의하여, 손실된 인코딩된 조각이 손실된 블록의 신원과 무관하게 고정된 수의 다른 인코딩된 조각으로 복구될 수 있도록 한다.
• 유한체 위의 대수적 구조를 활용하여 효율적인 복구를 가능하게 하는 구체적 구현인 호모모르픽 자기 복구 코드(HSRC)를 제안한다.
• 복구 작업을 원본 데이터를 재구성하지 않고도 인코딩된 조각 위에서 직접 선형 조합을 계산함으로써 통신 비용을 줄이는 호모모르픽 성질을 활용한다.
• 원본 객체 크기보다 복구 대역폭이 엄격히 작도록 보장한다. 이는 단일 조각 복구 시에도 마찬가지다.
• 유한체 위에서의 선형 방정식 시스템을 사용하여 복구 과정을 수식화한다. 각 인코딩된 조각은 벡터 공간 내의 벡터로 간주되며, 복구 작업은 생존한 조각들의 선형 조합을 통해 이루어진다.
• HSRC는 k개의 조각을 선택하여 원본 데이터를 재구성할 수 있는 특별한 집합을 활용함으로써 효율적으로 디코딩될 수 있음을 입증한다. 이는 일부 조각이 손실된 경우에도 해당 조각들을 먼저 복구할 수 있음을 의미한다.

실험 결과

연구 질문

• RQ1 분산 스토리지 시스템에서 복구 대역폭을 최소화하면서도 장애 내성은 유지할 수 있는 새로운 종류의 에러 수정 코드를 설계할 수 있는가?
• RQ2 어떤 조각이 손실되었는지에 관계없이 원본 객체 크기보다 적은 데이터를 다운로드하여 단일 손실된 인코딩된 조각을 복구할 수 있는가?
• RQ3 손실된 블록의 신원에 따라 달라지지 않는 복구 작업을 통해 예측 가능하고 확장 가능한 유지보수를 어떻게 실현할 수 있는가?
• RQ4 기존의 에러 수정 코드나 하이브리드 복제 전략과 비교했을 때, 이러한 코드에서 스토리지 오버헤드와 복구 대역폭 효율성 사이의 트레이드오프는 어떠한가?
• RQ5 HSRC와 같은 비시스템형 코드가 신뢰할 수 없는 스토리지 환경에서 보안과 성능 사이의 실용적인 균형을 제공할 수 있는가?

주요 결과

• HSRC는 원본 객체 크기보다 작은 데이터만 다운로드하여 어떤 손실된 조각이라도 복구할 수 있으며, 기존의 에러 수정 코드에 비해 상당한 대역폭 절감 효과를 얻는다.
• HSRC에서 단일 조각 복구는 전체 객체 크기보다 작은 데이터만 다운로드하면 되며, 이는 10개의 노드로 구성된 시스템에서 복구에 7개의 시간 단위가 소요된 반면 기존 코드는 9개의 시간 단위가 소요된 것으로 입증되었다.
• HSRC는 복수의 손실된 조각을 동시에 병렬로 복구할 수 있어 시스템 복구 속도를 높이고 유지보수 중 네트워크 혼잡도를 줄인다.
• 복구 과정은 강력하고 민첩하다. 어떤 특정 블록이 손실되었는지에 따라 달라지지 않으며, 손실된 블록의 수에만 의존한다. 이는 시스템 설계와 로드 밸런싱을 단순화한다.
• HSRC는 비시스템형이므로 개별 인코딩된 조각이 원본 데이터에 대한 정보를 드러내지 않으며, 임계값 암호화와 유사한 정보 이론적 보안을 제공한다.
• 비시스템형의 구조적 결함에도 불구하고, k개의 조각을 선택하거나 복구 경로를 사전 계산함으로써 효율적인 디코딩이 가능하여 비시스템형 인코딩의 성능 비용을 상쇄할 수 있다.