[논문 리뷰] Lagrange Coded Computing: Optimal Design for Resiliency, Security and Privacy

Qian Yu, Songze Li외 4명|arXiv (Cornell University)|2018. 06. 04.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 206

한 줄 요약

라그랑주 부호 계산(Lagrange Coded Computing, LCC)은 데이터를 라그랑주 다항식으로 부호화하여 다항식 함수의 탄력적이고 안전하며 프라이버시를 지키는 분산 계산을 가능하게 하여 최적의 복원력-보안-프라이버시 트레이드오프를 달성하고 분산 선형 회귀에서 주목할 만한 속도 향상을 제공합니다.

ABSTRACT

We consider a scenario involving computations over a massive dataset stored distributedly across multiple workers, which is at the core of distributed learning algorithms. We propose Lagrange Coded Computing (LCC), a new framework to simultaneously provide (1) resiliency against stragglers that may prolong computations; (2) security against Byzantine (or malicious) workers that deliberately modify the computation for their benefit; and (3) (information-theoretic) privacy of the dataset amidst possible collusion of workers. LCC, which leverages the well-known Lagrange polynomial to create computation redundancy in a novel coded form across workers, can be applied to any computation scenario in which the function of interest is an arbitrary multivariate polynomial of the input dataset, hence covering many computations of interest in machine learning. LCC significantly generalizes prior works to go beyond linear computations. It also enables secure and private computing in distributed settings, improving the computation and communication efficiency of the state-of-the-art. Furthermore, we prove the optimality of LCC by showing that it achieves the optimal tradeoff between resiliency, security, and privacy, i.e., in terms of tolerating the maximum number of stragglers and adversaries, and providing data privacy against the maximum number of colluding workers. Finally, we show via experiments on Amazon EC2 that LCC speeds up the conventional uncoded implementation of distributed least-squares linear regression by up to $13.43 imes$, and also achieves a $2.36 imes$-$12.65 imes$ speedup over the state-of-the-art straggler mitigation strategies.

연구 동기 및 목표

• 대용량 데이터 세트에서 stragglers, 적대자, 프라이버시 문제를 가진 분산 계산을 동기화시키려는 동기를 부여합니다.
• 다항식 함수에 대해 라그랑주 다항식을 사용한 보편적 코딩 계산 프레임워크를 제안합니다.
• 이 프레임워크 하에서 복원력, 보안, 프라이버시 간의 최적 트레이드오프를 특징지웁니다.
• 클라우드 인프라에서의 분산 최소자 제곱 선형 회귀에서 실용적 성능 향상을 시현합니다.

제안 방법

• 입력 데이터셋을 라그랑주 다항식으로 인코딩하여 작업자들을 위한 코딩된 데이터셋을 생성합니다.
• 각 작업자는 코딩된 입력에서 f(\tilde{X}_i)를 계산합니다. f는 임의의 다변수 다항식입니다.
• 마스터의 결과를 폴리노미얼 보간으로 디코딩하며 S명의 straggler, A명의 적대자, T명의 협력 작업자를 허용합니다.
• 달성 가능한 영역(S,A,T)을 부등식 (K+T-1)deg f + S + 2A + 1 ≤ N 으로 보여주고 그 최적성을 입증합니다.
• LCC가 BGW 기반 프라이빗 MPC 체계 대비 난수 및 저장소를 어떻게 감소시키면서도 다항식 계산에 보편적으로 적용 가능함을 설명합니다.
• 선형 회귀에 대한 실용적 구현을 제시하고 Amazon EC2에서 속도 향상을 검증합니다.

실험 결과

연구 질문

• RQ1 주어진 N, K, 다항식 차수에서 LCC 하에 최대 허용 가능한 stragglers, adversaries, colluding workers(S, A, T)은 얼마인가?
• RQ2 LCC가 일반 다중항/다항식 계산에 대해 최적의 복원력-보안-프라이버시 트레이드오프를 달성하고 작업 간 universality를 유지할 수 있는가?
• RQ3 실용적인 분산 학습 작업(예: 선형 회귀)에서 LCC는 비인코딩 및 기존의 straggler 완화 방법과 비교해 어떠한가?
• RQ4 이전의 안전/프라이빗 코딩 체계(BGW 등)에 비해 LCC의 저장소, 난수 생성 및 계산상의 이점은 무엇인가?

주요 결과

• LCC는 S-복원력, A-보안, T-프라이버시를 충족하는 f(X_i)를 K 입력에 대해 계산하는 체계를 구성하며 (K+T-1) deg f + S + 2A + 1 ≤ N일 때 존재한다.
• LCC는 다항식 차수 deg f에 대해 한 번의 인코딩으로 협력하는 작업자들에 대한 임의 padding으로 T개의 보안으로 데이터 프라이버시를 향상시킨다.
• LCC는 한 번의 인코딩으로 어떤 다항식 계산도 보간 보정을 통해 가능하게 하여 보편성을 제공하고 작업자별 데이터 로드를 줄인다.
• 선형 회귀의 경우, LCC는 AWS EC2 실험에서 비인코딩, 그래디언트 코딩(GC), 행렬-벡터 곱(MVM) 방식 대비 상당한 런타임 향상을 보여준다.
• 실험적으로 LCC는 비인코딩 대비 분산 최소 제곱 회귀를 최대 13.43x 빠르게 하고 GC 대비 2.36x–4.29x, MVM 대비 1.01x–12.65x 빠르다.