[논문 리뷰] Cross Subspace Alignment Codes for Coded Distributed Batch Computation

Zhuqing Jia, Syed A. Jafar|arXiv (Cornell University)|2019. 09. 30.

Stochastic Gradient Optimization Techniques참고 문헌 50인용 수 23

한 줄 요약

이 논문은 통신 비용을 낮추고 복구 임계값을 향상시키기 위해 행렬 분할과 배치 처리 방식을 통합하는 코딩 기법인 크로스 서브스페이스 어霆닝(CSA) 코드를 제안한다. 이 방법은 간섭을 정렬하고 원하는 계산을 복구하기 위해 카우시-바르데르몬드 행렬 구조를 사용하며, 스트래글러가 많은 환경과 다운로드 제약 조건이 있는 환경에서 LCC 및 EP 코드와 같은 기존 기법보다 최대 N 배까지 우월하다.

ABSTRACT

Coded distributed batch computation distributes a computation task, such as matrix multiplication, $N$-linear computation, or multivariate polynomial evaluation, across $S$ servers through a coding scheme, such that the response from any $R$ servers ($R$ is called the recovery threshold) is sufficient for the user to recover the desired computed value. Current approaches are based on either exclusively matrix-partitioning (Entangled Polynomial (EP) Codes for matrix multiplication), or exclusively batch processing (Lagrange Coded Computing (LCC)). We present three related classes of codes, based on the idea of Cross-Subspace Alignment (CSA) which was introduced originally in the context of private information retrieval. CSA codes are characterized by a Cauchy-Vandermonde matrix structure that facilitates interference alignment along Vandermonde terms, while the desired computations remain resolvable along the Cauchy terms. These codes unify, generalize and improve upon the state-of-art codes for distributed computing. First we introduce CSA codes for matrix multiplication, which yield LCC codes as a special case, and are shown to outperform LCC codes in general over strictly download-limited settings. Next, we introduce Generalized CSA (GCSA) codes for matrix multiplication that bridge the extremes of matrix-partitioning and batch processing approaches. Finally, we introduce $N$-CSA codes for $N$-linear distributed batch computations and multivariate batch polynomial evaluations. $N$-CSA codes include LCC codes as a special case, and are in general capable of achieving significantly lower downloads than LCC codes due to cross-subspace alignment. Generalizations of $N$-CSA codes to include $X$-secure data and $B$-byzantine servers are also obtained.

연구 동기 및 목표

• 코딩된 분산 계산에서 통신 비용과 계산 지연 간의 상충 관계를 해결하기 위해.
• 기존 기법들인 엔트레인드 다항식(EP) 코드와 라그랑주 코딩 계산(LCC)을 하나의 프레임워크 아래 통합하고 일반화하기 위해.
• 특히 스트래글러와 보안 제약 조건이 있는 배치 계산 환경에서 다운로드 비용과 복구 임계값을 줄이기 위해.
• X-보안 데이터와 B-비잔티노스 서버가 존재하는 환경에서 안전하고 견고한 계산을 가능하게 하기 위해.

제안 방법

• 이 방법은 바르데르몬드 항을 따라 간섭을 정렬하면서도 카우시 항을 따라 원하는 계산의 해석 가능성을 유지할 수 있도록 카우시-바르데르몬드 행렬 구조를 활용한다.
• 행렬 곱셈을 위한 CSA 코드는 완전한 결과를 복구할 수 있도록 보장하는 코딩된 데이터 업로드 및 서버 계산 규칙을 사용하여 구성된다.
• 일반화된 CSA(GCSA) 코드는 크로스 서브스페이스 정렬을 통해 행렬 분할과 배치 처리의 극한을 결합함으로써 이들의 이점을 융합한다.
• N-CSA 코드는 N-선형 계산과 다변수 다항식 평가로 프레임워크를 확장하며, 보안성과 비잔티노스 내성에 대응하는 구조적 인코딩을 지원한다.
• X-보안 및 B-비잔티노스 확장은 답변 구성에 MDS 코딩된 노이즈 벡터와 오류 수정 코딩을 통합하여 달성된다.
• 해독 과정은 응답에서 최대 B개의 오류를 수정하기 위해 MDS 코딩을 사용하며, 임의의 R개 서버로부터도 원하는 출력을 복구할 수 있다.

실험 결과

연구 질문

• RQ1 배치 처리의 낮은 통신 비용과 행렬 분할의 유연한 지연 특성을 동시에 확보할 수 있는 통합 코딩 프레임워크를 설계할 수 있는가?
• RQ2 분산 계산에서 간섭 정렬을 어떻게 활용하여 다운로드 비용을 최소화하면서도 복구 임계값 효율성을 유지할 수 있는가?
• RQ3 다운로드 제약 조건이 있는 환경에서 CSA 코드가 LCC 및 EP 코드와 같은 기존 기법보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 CSA 프레임워크는 보안(X-보안) 및 비잔티노스 서버에 대한 내성성(B-비잔티노스)을 지원하도록 일반화될 수 있는가?
• RQ5 X-보안 데이터와 B-비잔티노스 서버가 존재하는 조건에서 N-CSA 코드의 이론적 복구 임계값은 얼마인가?

주요 결과

• 행렬 곱셈을 위한 CSA 코드는 LCC 코드보다 더 낮은 다운로드 비용을 달성하며, 다운로드 제약 조건이 있는 환경에서 성능이 뛰어나다.
• GCSA 코드는 크로스 서브스페이스 정렬을 통해 행렬 분할과 배치 처리 접근 방식의 장점을 융합함으로써 상호 보완적 이점을 보여준다.
• N-선형 계산과 다변수 다항식 평가를 위한 N-CSA 코드는 복구 임계값 R = K_c(N + ℓ - 1) + N(X - 1) + 2B + 1을 달성하며, 다운로드 제약 조건이 있는 시나리오에서 LCC 코드보다 최대 N 배까지 뛰어난 성능을 발휘할 수 있다.
• N-CSA 코드의 X-보안 및 B-비잔티노스 확장은 MDS 코딩된 노이즈와 오류 수정 메커니즘을 사용하여 공식적으로 확립되었으며, 데이터 보안성과 견고성을 보장한다.
• 프레임워크는 임의의 R개 서버로부터 복구를 지원하며, 최대 B개의 오류를 수정할 수 있는 오류 수정 능력을 지녀 비잔티노스 동작에 대한 내성을 확보한다.
• 카우시-바르데르몬드 구조는 원하는 계산을 카우시 서브스페이스에 고립시키고 간섭을 바르데르몬드 서브스페이스에 정렬함으로써 효율적인 해독을 가능하게 한다.