[논문 리뷰] Verifiable Coded Computing: Towards Fast, Secure and Private Distributed Machine Learning.

Tingting Tang, Ramy E. Ali외 4명|arXiv (Cornell University)|2021. 07. 27.

Privacy-Preserving Technologies in Data참고 문헌 31인용 수 4

한 줄 요약

이 논문은 스트래글러 감소 및 데이터 기밀성 보장을 위해 코딩된 계산을 사용하고, Byzantine 워커를 탐지하기 위해 검증 가능한 계산을 활용하는 분리형 프레임워크인 검증 가능한 코딩 계산(VCC)을 제안한다. VCC는 분산 로지스틱 회귀를 3.2배에서 6.9배 빠르게 하고, 비코딩 방법 대비 최대 12.6% 향상된 테스트 정확도를 달성한다.

ABSTRACT

Stragglers, Byzantine workers, and data privacy are the main bottlenecks in distributed cloud computing. Several prior works proposed coded computing strategies to jointly address all three challenges. They require either a large number of workers, a significant communication cost or a significant computational complexity to tolerate malicious workers. Much of the overhead in prior schemes comes from the fact that they tightly couple coding for all three problems into a single framework. In this work, we propose Verifiable Coded Computing (VCC) framework that decouples Byzantine node detection challenge from the straggler tolerance. VCC leverages coded computing just for handling stragglers and privacy, and then uses an orthogonal approach of verifiable computing to tackle Byzantine nodes. Furthermore, VCC dynamically adapts its coding scheme to tradeoff straggler tolerance with Byzantine protection and vice-versa. We evaluate VCC on compute intensive distributed logistic regression application. Our experiments show that VCC speeds up the conventional uncoded implementation of distributed logistic regression by $3.2 imes-6.9 imes$, and also improves the test accuracy by up to $12.6\%$.

연구 동기 및 목표

• 스트래글러 감소, Byzantine 장애 내성, 데이터 기밀성의 세 가지 기능을 밀접하게 결합한 기존 코딩 계산 기법의 한계를 해결하기 위해 통신 또는 계산 오버헤드가 높은 문제를 해결한다.
• Byzantine 노드 탐지 기능을 스트래글러 처리 기능에서 분리하여 시스템 복잡성을 감소시키고 효율성을 향상시킨다.
• 작업 요구사항에 따라 스트래글러 내성과 Byzantine 보호 간의 동적 트레이드오프를 가능하게 한다.
• 코딩 계산과 검증 가능한 계산을 융합하여 분산 머신러닝의 성능과 정확도를 향상시킨다.
• 로지스틱 회귀와 같은 실제 분산 머신러닝 워크로드에서 최소한의 오버헤드로 실용적인 구현을 달성한다.

제안 방법

• 코딩 프레임워크를 분리한다: 코딩 계산은 오직 스트래글러 감소 및 기밀성 보장에만 사용하고, Byzantine 워커 탐지에는 검증 가능한 계산을 활용한다.
• 선형 코딩 기법을 적용하여 데이터와 계산을 워커 간에 인코딩하여 스트래글러에 대한 내성을 확보하고 기밀성을 유지한다.
• 암호학적 증명을 통한 검증 가능한 계산을 통합하여, 코딩 체계에 의존하지 않고 악성 또는 Byzantine 워커를 탐지하고 격리한다.
• 시스템 상태에 따라 코딩 파라미터를 동적으로 조정하여 스트래글러 내성과 Byzantine 보호 간의 균형을 조절한다.
• 이중 단계 계산 모델을 사용한다: 첫 번째 단계에서 워커들이 코딩된 계산을 수행하고, 두 번째 단계에서 결과가 정확한지를 정확성 증명 메커니즘을 통해 검증한다.
• 코딩은 스트래글러와 기밀성에, 검증 가능한 계산은 Byzantine 장애에 각각 전용된 상호 보완적인 메커니즘을 활용하여 전체 시스템의 복잡성을 감소시킨다.

실험 결과

연구 질문

• RQ1 스트래글러 내성과 Byzantine 장애 탐지 기능을 분리함으로써 분산 머신러닝에서 시스템 오버헤드를 줄일 수 있는가?
• RQ2 검증 가능한 계산의 통합이 코딩 복잡도를 증가시키지 않으면서도 악성 워커에 대한 보안을 어떻게 향상시키는가?
• RQ3 동적 코딩 적응이 스트래글러 내성과 Byzantine 보호 간의 트레이드오프를 얼마나 향상시킬 수 있는가?
• RQ4 기존의 비코딩 기반 분산 학습 대비 VCC가 로지스틱 회귀에서 어떤 성능 및 정확도 향상을 달성하는가?
• RQ5 실제 분산 머신러닝 워크로드에서 데이터 기밀성을 유지하면서도 정확성과 저지연을 확보할 수 있는가?

주요 결과

• VCC는 기존의 비코딩 기반 분산 로지스틱 회귀 구현 대비 3.2배에서 6.9배 빠른 성능 향상을 달성한다.
• 비코딩 기반 기준 대비 최대 12.6% 향상된 테스트 정확도를 기록하여 모델의 강건성 향상을 시사한다.
• 코딩과 검증 기능을 분리함으로써 기존의 통합형 코딩 계산 기법에서 비롯되는 계산 및 통신 오버헤드를 감소시켰다.
• 코딩 파라미터의 동적 적응을 통해 VCC는 워크로드 요구사항에 따라 스트래글러 내성과 Byzantine 보호 간의 균형을 조절할 수 있다.
• 검증 가능한 계산의 통합을 통해 코딩 계산 계층의 효율성을 훼손하지 않으면서도 신뢰할 수 있는 Byzantine 워커 탐지 기능을 제공한다.
• VCC는 실세계의 계산 집약적인 분산 머신러닝 워크로드에서 실용성과 성능 향상을 입증하였다.