[논문 리뷰] LT Codes For Efficient and Reliable Distributed Storage Systems Revisited

Yongge Wang|arXiv (Cornell University)|2012. 07. 23.

Advanced Data Storage Technologies참고 문헌 23인용 수 5

한 줄 요약

이 논문은 분산 스토리지용 확률적 LT 코드의 비효율성과 불확실성을 해결하기 위해 민감도가 낮고 효율적인 결정론적 대안으로 평탄한 BP-XOR 및 어레이 BP-XOR 코드를 소개한다. 이는 신뢰성 있는 민감도 전파 디코딩을 기반으로 하며, 이러한 코드들과 간선 색상이 칠해진 그래프 모델 간의 등가성을 설정한다. 주요 기여는 도함수 1차 및 2차 인코딩 기호만을 사용할 경우 어레이 BP-XOR 코드가 최소 요구 조건을 초과해 오직 한 개의 열에 대한 복구 가능성을 가질 수 있음을 이론적으로 규명한 점으로, 이는 고손실 상황에서의 확장성에 제한을 초래한다.

ABSTRACT

LT codes and digital fountain techniques have received significant attention from both academics and industry in the past few years. There have also been extensive interests in applying LT code techniques to distributed storage systems such as cloud data storage in recent years. However, Plank and Thomason's experimental results show that LDPC code performs well only asymptotically when the number of data fragments increases and it has the worst performance for small number of data fragments (e.g., less than 100). In their INFOCOM 2012 paper, Cao, Yu, Yang, Lou, and Hou proposed to use exhaustive search approach to find a deterministic LT code that could be used to decode the original data content correctly in distributed storage systems. However, by Plank and Thomason's experimental results, it is not clear whether the exhaustive search approach will work efficiently or even correctly. This paper carries out the theoretical analysis on the feasibility and performance issues for applying LT codes to distributed storage systems. By employing the underlying ideas of efficient Belief Propagation (BP) decoding process in LT codes, this paper introduces two classes of codes called flat BP-XOR codes and array BP-XOR codes (which can be considered as a deterministic version of LT codes). We will show the equivalence between the edge-colored graph model and degree-one-and-two encoding symbols based array BP-XOR codes. Using this equivalence result, we are able to design general array BP-XOR codes using graph based results. Similarly, based on this equivalence result, we are able to get new results for edge-colored graph models using results from array BP-XOR codes.

연구 동기 및 목표

• 적은 수의 데이터 조각을 가진 소규모 분산 스토리지 시스템에서 확률적 LT 코드의 비효율성과 불확실성을 해결하기 위해.
• 클라우드 스토리지 응용을 위한 민감도 전파 디코딩 기반의 결정론적, 효율적이고 신뢰할 수 있는 손실 코드를 개발하기 위해.
• 어레이 BP-XOR 코드와 간선 색상이 칠해진 그래프 모델 간의 형식적 등가성을 수립하여 이중 도메인 간 통찰을 가능하게 하기 위해.
• 도함수 1차 및 2차 인코딩 제약 조건 하에서 지원 가능한 열의 최대 수에 대한 이론적 경계를 유도하기 위해.
• 보장된 디코딩 성능을 가진 확장 가능하고 복잡도가 낮은 LT 코드 유사 시스템 설계를 위한 기반을 마련하기 위해.

제안 방법

• XOR 기반 인코딩과 구조화된 패리티 기호를 사용하여, 확률적 LT 코드의 결정론적 변종인 평탄한 BP-XOR 및 어레이 BP-XOR 코드를 제안한다.
• 도함수 1차 및 2차 인코딩 기호를 사용하는 어레이 BP-XOR 코드와 간선 색상이 칠해진 그래프 모델 간의 등가성을 수립한다.
• 손실 내성 제약 조건 하에서 이러한 코드의 존재를 위한 필요 조건을 유도하기 위해 그래프 이론적 결과를 활용한다.
• 민감도 전파 디코딩 원리를 적용하여 원본 데이터 조각의 효율적이고 정확한 복구를 보장한다.
• 데이터 조각 수 n₀와 블록 크기 m에 기반하여 열 수 n을 제한하는 핵심 부등식(식 1)을 유도한다.
• 어레이 코드의 구조적 제약 조건과 그 그래프 이론적 쌍대 구조의 분석을 통해 이론적 발견을 검증한다.

실험 결과

연구 질문

• RQ1 최소한의 부가 복구 정보로 분산 스토리지에서 신뢰할 수 있는 디코딩을 보장하는 결정론적 LT 유사 코드를 구성할 수 있는가?
• RQ2 어레이 BP-XOR 코드에서 도함수 1차 및 2차 인코딩 기호만을 사용할 경우의 근본적 한계는 무엇인가?
• RQ3 어레이 BP-XOR 코드와 간선 색상이 칠해진 그래프 간의 등가성은 각 도메인에서 새로운 이론적 결과 도출에 어떻게 기여하는가?
• RQ4 t-손실 내성 조건 하에서 도함수 1차 및 2차 인코딩 기호만을 사용하는 어레이 BP-XOR 코드에서 지원 가능한 열의 최대 수는 얼마인가?
• RQ5 어레이 코드에서 도출된 이론적 경계는 간선 색상이 칠해진 그래프의 성질, 특히 고장 내성 측면에서 유추할 수 있는가?

주요 결과

• t-손실 내성 조건 하에서 도함수 1차 및 2차 인코딩 기호만을 사용할 경우, 열 수 n은 n ≤ ((n₀−1)/(n₀−2)) × (n₀ − 2/((n₀−2)m + 1))로 제한되며, 여기서 n₀ = n−t이다.
• n₀ ≥ 3일 경우, 열 수 n의 최대값은 n₀+1로 제한되며, 이는 최소 요구 조건을 초과해 오직 한 개의 열에 대한 복구 가능성을 가짐을 의미한다.
• n₀ = 3이고 m ≥ 3일 경우, 열 수의 최대값은 5이며, 이는 저도함수 인코딩 조건 하에서 확장성에 대한 엄격한 상한선을 나타낸다.
• 어레이 BP-XOR 코드와 간선 색상이 칠해진 그래프 간의 등가성은 그래프의 강건성에 대한 새로운 결과 도출을 가능하게 하며, 예를 들어 |C| ≥ 5개의 색상이 있는 그래프는 최대 한 개의 색상 고장만 내성 가능하다는 것을 보여준다.
• 이론적 분석은 Cao 등이 제안한 결정론적 LT 코드에 대한 체계적 탐색 방법이 반드시 성공하거나 효율적으로 확장되지 않음을 확인한다. 특히 n₀가 작은 경우에 더욱 그렇다.
• 논문은 어레이 BP-XOR 코드를 생성하고 검증하기 위한 소프트웨어 패키지를 제공하며, 실용적 구현 및 검증을 지원한다.