[논문 리뷰] Private Coded Computation for Machine Learning

Minchul Kim, Heecheol Yang외 1명|arXiv (Cornell University)|2018. 07. 03.

Stochastic Gradient Optimization Techniques참고 문헌 7인용 수 5

한 줄 요약

이 논문은 분산 행렬 곱셈에서 워커가 공유 라이브러리에서 어떤 데이터셋을 사용하고 있는지 파악할 수 없도록 하여 마스터의 프라이버시를 보호하는 새로운 프레임워크인 프라이빗 코딩된 계산을 소개한다. 특히 프라이빗 단일 시점 및 프라이빗 비동기 다항식 코드를 제안하여 통신 부하와 계산 시간 사이의 균형을 이루며, 모든 시험 환경에서 기존의 강력한 프라이빗 정보 검색(RPIR) 기법보다 적어도 한 가지 지표에서 성능이 뛰어나다.

ABSTRACT

In a distributed computing system for the master-worker framework, an erasure code can mitigate the effects of slow workers, also called stragglers. The distributed computing system combined with coding is referred to as coded computation. We introduce a variation of coded computation that protects the master's privacy from the workers, which is referred to as private coded computation. In private coded computation, the master needs to compute a function of its own dataset and one of the datasets in a library exclusively shared by the external workers. After the master recovers the result of the desired function through coded computation, the workers should not know which dataset in the library was desired by the master, which implies that the master's privacy is protected. We propose a private coded computation scheme for matrix multiplication, namely private polynomial codes, based on polynomial codes for conventional coded computation. As special cases of private polynomial codes, we propose private one-shot polynomial codes and private asynchronous polynomial codes. Whereas the private one-shot polynomial code achieves a lower communication load from the master to each worker, the private asynchronous polynomial code achieves faster computation than private one-shot polynomial codes. In terms of computation time and communication load, we compare private one-shot polynomial codes and private asynchronous polynomial codes with a conventional robust private information retrieval scheme which can be directly applied to coded computation.

연구 동기 및 목표

• 공유 라이브러리에서 마스터가 어떤 데이터셋을 접근하고 있는지 워커가 추론할 수 있는 분산 컴퓨팅 환경에서의 프라이버시 누출 문제를 해결하기 위해.
• 라이브러리에서 특정 데이터셋이 처리되고 있는지 워커가 알 수 없도록 하는 코딩된 계산 기법을 개발하기 위해.
• 프라이버시를 유지하면서도 통신 부하와 계산 시간을 최소화하는 효율적인 기법을 설계하기 위해.
• 성능 트레이드오프 측면에서 제안된 프라이빗 코딩된 계산 기법과 기존의 RPIR 기반 접근법을 비교하기 위해.

제안 방법

• 기존의 다항식 코드를 프라이버시 보장 기능으로 확장한 프라이빗 다항식 코드를 제안한다.
• 마스터의 데이터와 라이브러리 내 타겟 데이터셋을 은폐하기 위해 인코딩 함수 $ g^D_{\mathbf{A}} $ 및 $ g^D_{\mathbf{B}} $ 를 사용한다.
• 프라이빗 단일 시점 다항식 코드를 도입하여 마스터가 각 워커에게 $ L=1 $개의 인코딩된 데이터 평가값을 전송함으로써 통신 부하를 최소화한다.
• 프라이빗 비동기 다항식 코드를 개발하여, 먼저 완료된 워커들이 첫 번째 완료 이후에도 계속 계산을 수행할 수 있도록 하여 총 계산 시간을 단축시킨다.
• 워커들이 병렬로 부분 계산을 처리하고, 마스터가 결과를 복원할 수 있도록 하는 그룹 기반 계산 모델을 사용한다.
• MDS 코딩된 부분행렬과 다항식 보간법을 활용하여, $ k $명의 워커로부터의 결과만으로도 최종 결과를 복원할 수 있도록 하여 스트래글러에 대한 내성 확보를 한다.

실험 결과

연구 질문

• RQ1 여러 데이터셋이 포함된 공유 라이브러리에서 특정 데이터셋을 접근할 때 마스터의 프라이버시를 보호하기 위해 코딩된 계산 기법을 어떻게 확장할 수 있는가?
• RQ2 프라이빗 코딩된 계산 환경에서 통신 부하와 계산 시간을 어떻게 최소화할 수 있는가?
• RQ3 프라이빗 코딩된 계산 기법에서 통신 효율성과 계산 속도 사이의 트레이드오프는 어떠한가?
• RQ4 프라이빗 단일 시점 및 프라이빗 비동기 다항식 코드는 기존의 RPIR 기반 기법과 성능 측면에서 어떻게 비교되는가?

주요 결과

• 프라이빗 단일 시점 다항식 코드는 RPIR보다 더 낮은 통신 부하를 달성하며, 부하가 RPIR 대비 최대 $ N/n $ 배 이하로 증가한다. 여기서 $ N $ 은 워커 수이고 $ n $ 은 복원에 사용되는 워커 수이다.
• 프라이빗 비동기 다항식 코드는 첫 완료 후에도 빠른 워커들이 계속 계산을 수행할 수 있도록 하여 프라이빗 단일 시점 다항식 코드보다 더 빠른 계산을 달성한다.
• 스트래글러 효과($ \mu $)가 감소할수록 프라이빗 비동기 다항식 코드와 RPIR 사이의 성능 격차는 줄어들지만, 고스트래글러 상황에서는 여전히 프라이빗 비동기 코드가 열세를 보인다.
• 프라이빗 단일 시점 다항식 코드는 통신 부하와 계산 시간 사이에 트레이드오프가 존재한다: 통신 부하를 최소화하기 위해 $ m $ 를 크게 하면 $ K = mn $ 가 증가하여 계산 시간이 증가한다.
• 저수준의 $ \mu $ 인 상황에서는 프라이빗 비동기 코드가 RPIR보다 성능상 유의미한 이점이 없지만, 스트래글러가 심한 상황에서는 여전히 계산 시간에서 RPIR를 능가한다.
• 프라이빗 비동기 다항식 코드는 $ L = m $ 일 때 RPIR와 동일한 통신 부하($ N|\mathbf{A}| $)를 달성할 수 있지만, 실질적으로 $ L $ 을 크게 줄일 수 있어 RPIR 대비 통신 효율성 격차를 개선할 수 있다.