[논문 리뷰] Securing Distributed Machine Learning in High Dimensions

Lili Su, Jiaming Xu|arXiv (Cornell University)|2018. 04. 26.

Privacy-Preserving Technologies in Data인용 수 26

한 줄 요약

이 논문은 고차원 기계학습에서 고정된 비율의 바르타이너스 워커를 견딜 수 있는 강력한 분산 경사 하강법을 제안한다. 반복적 필터링 경사 집계기와 표본 공분산 행렬의 균일한 농도를 활용하여, $d \gg n$ 조건에서도 $O(\log N)$ 라운드 내에 $O(\sqrt{q/N} + \sqrt{d/N})$의 추정 오차를 달성한다. 이 방법은 고차원 환경에서 악성 워커 행동에 대응하여 수렴을 보장한다.

ABSTRACT

We consider securing a distributed machine learning system wherein the data is kept confidential by its providers who are recruited as workers to help the learner to train a $d$--dimensional model. In each communication round, up to $q$ out of the $m$ workers suffer Byzantine faults; faulty workers are assumed to have complete knowledge of the system and can collude to behave arbitrarily adversarially against the learner. We assume that each worker keeps a local sample of size $n$. (Thus, the total number of data points is $N=nm$.) Of particular interest is the high-dimensional regime $d \gg n$. We propose a secured variant of the classical gradient descent method which can tolerate up to a constant fraction of Byzantine workers. We show that the estimation error of the iterates converges to an estimation error $O(\sqrt{q/N} + \sqrt{d/N})$ in $O(\log N)$ rounds. The core of our method is a robust gradient aggregator based on the iterative filtering algorithm proposed by Steinhardt et al. \cite{Steinhardt18} for robust mean estimation. We establish a uniform concentration of the sample covariance matrix of gradients, and show that the aggregated gradient, as a function of model parameter, converges uniformly to the true gradient function. As a by-product, we develop a new concentration inequality for sample covariance matrices of sub-exponential distributions, which might be of independent interest.

연구 동기 및 목표

• 데이터가 워커들 사이에 분산되어 있고 일부가 악성으로 행동할 수 있는 고차원 환경에서 분산 기계학습을 보호하는 데 도전하는 문제를 해결하기 위해.
• 최대 $q$명의 워커가 악성으로 행동하고 공모하는 상황에서 바르타이너스 장애에 강건한 경사 집계 메커니즘을 설계하기 위해.
• 伝통적인 방법이 실패할 수 있는 고차원 영역 $d \gg n$ 에서도 바르타이너스 워커가 존재하더라도 모델 파라미터의 수렴을 보장하기 위해.
• 분산 학습에서 악성 조건 하에서 추정 오차와 수렴 속도에 대한 이론적 보장을 확립하기 위해.

제안 방법

• 이 방법은 Steinhardt 등(2018)의 반복적 필터링 알고리즘을 기반으로 한 강력한 평균 추정을 위한 강력한 경사 집계기구를 사용한다.
• 표본 공분산 행렬의 균일한 농도를 활용하여, 모든 모델 파라미터에 걸쳐 집계된 경사가 진짜 경사 함수를 균일하게 근사하도록 보장한다.
• 각 워커의 국소 경사를 하위지수 랜덤 벡터로 모델링하고, 이러한 분포의 표본 공분산 행렬에 대한 새로운 농도 부등식을 유도한다.
• 알고리즘은 라운드 단위로 작동하며, 각 워커가 자신의 $n$ 크기의 데이터셋에서 국소 경사를 계산하고, 학습자가 필터링 메커니즘을 사용해 이를 집계한다.
• 필터링 과정은 반복적으로 이상치를 제거하고, 바르타이너스 워커의 영향을 최소화하는 강력한 평균 경사 추정치를 계산한다.
• 이 방법은 $O(\log N)$ 라운드 내에서 수렴하도록 설계되었으며, 집계된 경사가 진짜 경사로의 균일한 수렴과 관련이 있다.

실험 결과

연구 질문

• RQ1 고차원 환경에서 일정 비율의 워커가 바르타이너스이고 공모하는 경우, 분산 기계학습 시스템이 정확성과 보안을 유지할 수 있는가?
• RQ2 고차원 환경에서 $d \gg n$ 조건이 존재할 때, 경사 집계를 어떻게 악성 행동에 강건하게 만들 수 있는가?
• RQ3 고차원 분산 학습에서 바르타이너스 장애가 발생할 경우, 추정 오차와 수렴 속도에 대해 어떤 이론적 보장을 확립할 수 있는가?
• RQ4 하위지수 표본 공분산 행렬에 대한 새로운 농도 부등식을 유도하고, 이를 통해 집계된 경사의 균일한 수렴을 증명할 수 있는가?

주요 결과

• 모델 반복의 추정 오차는 $d \gg n$ 조건에서도 $O(\log N)$ 라운드 내에 $O(\sqrt{q/N} + \sqrt{d/N})$로 수렴한다.
• 제안된 강력한 경사 집계기구는 모든 모델 파라미터에 걸쳐 집계된 경사가 진짜 경사 함수로 균일하게 수렴함을 보장한다.
• 하위지수 분포의 표본 공분산 행렬에 대한 새로운 농도 부등식이 도출되었으며, 이는 주요 수렴 결과를 증명하는 데 핵심적인 역할을 한다.
• 이 방법은 악성 워커의 비율이 일정한 정도일지라도, 시스템에 대한 완전한 지식을 가지고 있거나 공모하더라도 견딜 수 있다.
• 이론적 분석을 통해 경사 집계 과정이 악성 간섭이 있더라도 안정적이고 정확하게 유지됨을 입증했다.
• 제안된 강력한 집계 프레임워크 하에서 $O(\log N)$ 라운드의 수렴 속도가 달성되었다.