[논문 리뷰] Repairing Multiple Failures with Coordinated and Adaptive Regenerating Codes

Anne-Marie Kermarrec, Gilles Straub외 1명|arXiv (Cornell University)|2011. 02. 01.

Advanced Data Storage Technologies인용 수 78

한 줄 요약

이 논문은 분산 스토리지 시스템에서 다중 동시 장故 수리의 최적화를 위해 협동적이고 적응형 복구 코드를 소개한다. 장비들이 수리를 공유하고 파rameter를 동적으로 조정함으로써, 스토리지와 수리 대역폭 사이의 최적 트레이드오프를 달성하며, 게으른 수리가 디스크 I/O는 줄이지만 네트워크 수리 비용에는 영향을 주지 않는다는 것을 보여준다.

ABSTRACT

Erasure correcting codes are widely used to ensure data persistence in distributed storage systems. This paper addresses the simultaneous repair of multiple failures in such codes. We go beyond existing work (i.e., regenerating codes by Dimakis et al.) by describing (i) coordinated regenerating codes (also known as cooperative regenerating codes) which support the simultaneous repair of multiple devices, and (ii) adaptive regenerating codes which allow adapting the parameters at each repair. Similarly to regenerating codes by Dimakis et al., these codes achieve the optimal tradeoff between storage and the repair bandwidth. Based on these extended regenerating codes, we study the impact of lazy repairs applied to regenerating codes and conclude that lazy repairs cannot reduce the costs in term of network bandwidth but allow reducing the disk-related costs (disk bandwidth and disk I/O).

연구 동기 및 목표

• 기존 복구 코드가 다중 장고를 동시에 수리할 수 없는 한계를 해결하기 위해.
• 현재 시스템 상태에 따라 접속하는 노드 수(d)와 수리하는 장고 수(t)를 변화시켜 동적으로 조절할 수 있는 수리 메커니즘을 설계하기 위해.
• 게으운 수리(수리를 연기함)가 복구 코드 시스템에서 네트워크 및 디스크 관련 수리 비용에 미치는 영향을 분석하기 위해.
• 최적의 수리 대역폭과 스토리지 트레이드오프를 달성하는 협동적이고 적응형 복구 코드의 이론적 기초를 확립하기 위해.

제안 방법

• t>1인 실패한 노드들이 동시에 d개의 정상 작동 중인 노드에 접속하고, 데이터 복구를 위해 협동하는 협동 복구 코드(cooperative regenerating codes)를 제안한다.
• t>1의 장고 장애 발생 시 협동 수리 과정에서 전송할 최적의 데이터 양에 대한 닫힌 형태의 수식을 유도한다.
• 현재 시스템 상태에 따라 d와 t를 수리마다 변화시킬 수 있도록 허용하는 적응형 복구 코드를 도입하여, 변화하는 조건에서도 최적의 수리 성능을 유지한다.
• 네트워크 대역폭과 디스크 I/O에 영향을 주는 게으른 수리(수리 연기)의 영향을 분석하며, 네트워크 비용과 디스크 관련 비용을 구분한다.
• 최적의 수리 대역폭을 제공하는 功能적 수리 모델을 사용하며, Dimakis 등이 제안한 복구 코드 프레임워크를 기반으로 한다.
• 지역 수리 가능 코드와의 조합을 고려하여, 총 n−1개의 가용 노드 중에서 d개의 노드로부터도 지역 수리를 지원하는 새로운 종류의 코드를 제안한다.

실험 결과

연구 질문

• RQ1 다중 노드가 동시에 고장 났을 때 협동 복구 코드가 최적의 수리 대역폭을 달성할 수 있는가? 그리고 t와 d에 따라 수리 과정은 어떻게 스케일링되는가?
• RQ2 d와 t를 동적으로 변화시키는 적응형 복구 코드가 실제 변화하는 스토리지 환경에서 정적 복구 코드보다 우수한 성능을 보일 수 있는가?
• RQ3 게으른 수리(수리 연기)가 전통적인 에러코드와 마찬가지로 복구 코드 시스템에서 네트워크 수리 대역폭을 줄이는가?
• RQ4 게으른 수리가 네트워크 비용에는 영향을 주지 않지만, 디스크 I/O와 디스크 대역폭과 같은 디스크 관련 수리 비용을 줄일 수 있는가?
• RQ5 복구 코드와 지역 수리 가능 코드를 어떻게 조합하여 글로벌 및 지역 수리 효율성을 모두 지원하는 새로운 종류의 코드를 만들 수 있는가?

주요 결과

• 협동 복구 코드는 다중 장고를 동시에 수리할 경우 스토리지와 수리 대역폭 사이의 최적 트레이드오프를 달성하며, Dimakis 등의 결과를 t>1 장고로 확장한다.
• 적응형 복구 코드는 d와 t를 시스템 조건에 따라 동적으로 조정하여 다양한 환경에서도 최적의 수리 성능을 유지하므로, 실세계 적용에 적합하다.
• 게으른 수리가 복구 코드에서는 네트워크 수리 대역폭을 줄이지 않으며, 기존의 에러코드에서의 발견과는 정반대이다.
• 그러나 게으른 수리는 수리 중 디스크 접근 빈도가 감소함으로써 디스크 I/O와 디스크 대역폭과 같은 디스크 관련 수리 비용을 크게 줄인다.
• 논문은 적응형 복구 코드가 MBR(Minimum Bandwidth Regenerating) 점에서는 의미가 없다는 점을 규명하여, 이 접근의 이론적 경계를 명확히 한다.
• 지역 수리 가능 복구 코드라는 새로운 종류의 코드를 제안하며, 이는 총 n−1개의 가용 노드 중에서 d개의 노드로부터도 지역 수리를 지원하여 복구 코드와 지역 수리 가능 코드의 이점을 모두 통합한다.