[논문 리뷰] Entangled Polynomial Codes for Secure, Private, and Batch Distributed Matrix Multiplication: Breaking the "Cubic" Barrier

Qian Yu, A. Salman Avestimehr|arXiv (Cornell University)|2020. 01. 15.

Stochastic Gradient Optimization Techniques참고 문헌 59인용 수 27

한 줄 요약

이 논문은 안정성, 비밀성, 배치 분산 행렬 곱셈을 위한 엔트angled 다항식 코드를 소개하며, 복구 임계값을 초입방식으로 낮춰 오랫동안 지속된 '세제곱' 장벽을 돌파한다. 텐서 분해와 라그랑주 인코딩을 통해 다항식 인코딩을 이차형 계산으로 확장함으로써, 보안, 비밀성, 배치 처리의 모든 설정에서 순서적으로 감소된 계산 비용을 통합적으로 달성하며, 이는 이전 최첨단 기술들을 능가한다.

ABSTRACT

In distributed matrix multiplication, a common scenario is to assign each worker a fraction of the multiplication task, by partitioning the input matrices into smaller submatrices. In particular, by dividing two input matrices into $m$-by-$p$ and $p$-by-$n$ subblocks, a single multiplication task can be viewed as computing linear combinations of $pmn$ submatrix products, which can be assigned to $pmn$ workers. Such block-partitioning based designs have been widely studied under the topics of secure, private, and batch computation, where the state of the arts all require computing at least "cubic" ($pmn$) number of submatrix multiplications. Entangled polynomial codes, first presented for straggler mitigation, provides a powerful method for breaking the cubic barrier. It achieves a subcubic recovery threshold, meaning that the final product can be recovered from \emph{any} subset of multiplication results with a size order-wise smaller than $pmn$. In this work, we show that entangled polynomial codes can be further extended to also include these three important settings, and provide a unified framework that order-wise reduces the total computational costs upon the state of the arts by achieving subcubic recovery thresholds.

연구 동기 및 목표

• 기존 기술들이 최소 $pmn$ 개의 부분행렬 곱셈을 요구하는 바, 보안, 비밀성, 배치 분산 행렬 곱셈에서의 높은 계산 비용 문제를 해결하기 위해.
• 초기에는 느린 작업자 대응을 위해 설계된 엔트angled 다항식 코드를 확장하여, 통합된 프레임워크 내에서 보안, 비밀성, 배치 계산을 지원하도록 하기 위해.
• 최소 $pmn$ 개의 부분행렬 곱품에서 복구할 수 있도록 함으로써 총 계산 비용을 순서적으로 감소시키기 위해.
• 보안과 비밀성을 유지하면서 복구 임계값을 최소화하는 명시적 인코딩 구성 제공하기 위해.

제안 방법

• 입력 행렬을 $R(p,m,n)$ 함수의 상한을 사용하여 사전 인코딩하여, 인코딩된 벡터의 원소별 곱셈을 계산하는 문제로 문제를 단순화한다.
• 복구 임계값이 $2R(p,m,n) - 1$인 두 번째 유형의 엔트angled 다항식 코드를, 모든 세 가지 설정에 대해 사전 인코딩된 벡터에 적용한다.
• 배치 설정에서 길이가 $LR(p,m,n)$ 이하인 벡터의 원소별 곱셈을 계산하기 위해 라그랑주 인코딩을 사용한다.
• 감정 데이터와 워커 측 정보 간 상호정보량이 0이 되도록 질의 및 인코딩된 입력을 설계함으로써 비밀성과 보안을 확보한다.
• 이차형 함수와 질량-3 텐서 간의 연결을 활용하여 행렬 곱셈을 더 단순하고 분산 가능한 작업들로 분해한다.
• 모든 워커에 대해 $I(D;Q_i, ilde{A}_i, oldsymbol{B}) = 0$ 이며 $I( ilde{A}_i; oldsymbol{A}) = 0$ 임을 보장함으로써 보안, 비밀성, 효율성을 동시에 만족시키는 방법을 구성한다.

실험 결과

연구 질문

• RQ1 엔트angled 다항식 코드는 보안 분산 행렬 곱셈에서 '세제곱' 장벽을 돌파하기 위해 확장될 수 있는가?
• RQ2 동일한 인코딩 프레임워크가 비밀성 및 보안을 동시에 확보하면서도 복구 임계값이 초입방식인 비밀성 및 배치 행렬 곱셈을 달성할 수 있는가?
• RQ3 보안성과 비밀성을 유지하면서도 배치 행렬 곱셈에서 복구 임계값을 $pmn$ 이하로 낮출 수 있는가?
• RQ4 동시에 느린 작업자 대응, 보안, 비밀성 있는 배치 계산을 지원하는 통합된 인코딩 프레임워크가 존재하는가?
• RQ5 질량-3 텐서를 통한 텐서 분해 방법은 저복잡도의 인코딩 및 디코딩을 가진 다른 다선형 함수로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 $2R(p,m,n) - 1$의 복구 임계값을 달성하며, 이는 이전 연구의 $pmn$ 임계값보다 초입방식이면서 순서적으로 낮다.
• L 쌍의 배치 행렬 곱셈에 대해, 복구 임계값 상한은 $2LR(p,m,m) - 1$이며, 이는 총 계산량을 크게 감소시킨다.
• 감정 데이터와 워커 측 데이터 간 상호정보량이 0임을 보장함으로써 정보 이론적 보안성과 비밀성을 유지한다.
• 통합된 인코딩 구조를 통해 보안, 비밀성, 배치 계산을 통합적으로 처리함으로써, 다양한 설정 간 공통 최적화를 가능하게 한다.
• 계산 비용과 복구 임계값 측면에서 최첨단 기술들을 능가하는 명시적 인코딩 구성이 제공된다.
• 텐서 분해를 통해 간단한 계산의 반복 평가로 환원함으로써, 이 방법은 임의의 다선형 함수로 일반화될 수 있다.