[논문 리뷰] Collaborative Learning in the Jungle (Decentralized, Byzantine, Heterogeneous, Asynchronous and Nonconvex Learning)

El Mahdi El Mhamdi, Sadegh Farhadkhani외 4명|arXiv (Cornell University)|2020. 08. 03.

Privacy-Preserving Technologies in Data인용 수 15

한 줄 요약

이 논문은 베즈반티나 협동 학습과 평균 합의라는 새로운 문제 사이의 새로운 등가성을 제안한다. 여기서 노드들은 정상 노드의 초기 벡터의 평균에 가까운 벡터로 수렴해야 한다. 이에 따라 비동기적 환경에서 최적의 알고리즘 두 가지를 제안한다. 첫 번째 알고리즘은 점근적으로 최적의 수렴 조건을 확보하기 위해 $ n \geq 6f+1 $ 가 필요하고, 두 번째 알고리즘은 최적의 베즈반티나 내성 확보를 위해 $ n \geq 3f+1 $ 가 필요하다. 이는 악성 환경, 이질적 환경, 비동기적 조건 하에서도 강건하고 탈중앙화된 비볼록 학습을 가능하게 한다.

ABSTRACT

We study Byzantine collaborative learning, where $n$ nodes seek to collectively learn from each others' local data. The data distribution may vary from one node to another. No node is trusted, and $f < n$ nodes can behave arbitrarily. We prove that collaborative learning is equivalent to a new form of agreement, which we call averaging agreement. In this problem, nodes start each with an initial vector and seek to approximately agree on a common vector, which is close to the average of honest nodes' initial vectors. We present two asynchronous solutions to averaging agreement, each we prove optimal according to some dimension. The first, based on the minimum-diameter averaging, requires $ n \\geq 6f+1$, but achieves asymptotically the best-possible averaging constant up to a multiplicative constant. The second, based on reliable broadcast and coordinate-wise trimmed mean, achieves optimal Byzantine resilience, i.e., $n \\geq 3f+1$. Each of these algorithms induces an optimal Byzantine collaborative learning protocol. In particular, our equivalence yields new impossibility theorems on what any collaborative learning algorithm can achieve in adversarial and heterogeneous environments.

연구 동기 및 목표

• 탈중앙화된, 베즈반티나의, 이질적인, 비동기적인, 비볼록 환경에서의 협동 학습을 체계적으로 정의한다.
• 협동 학습과 평균 합의라는 새로운 추상 문제 사이의 등가성을 수립한다.
• 평균 합의의 기본 한계를 분석함으로써 협동 학습의 불가능성 정리를 입증한다.
• 협동 학습에 최적의 프로토콜을 유도하는 두 가지 최적 알고리즘을 설계한다.
• 제안된 알고리즘의 실용적 타당성과 성능 오버헤드를 ResNet 모델 기반 구현을 통해 입증한다.

제안 방법

• 스티어티식 그래디언트를 집계하고 모델 수축을 통해 드리프트를 방지함으로써 협동 학습을 평균 합의로 환원한다.
• 첫 번째 알고리즘은 최소 지름 평균을 사용하며, 점근적으로 최적의 평균 상수를 확보하기 위해 $ n \geq 6f+1 $ 가 필요하다.
• 두 번째 알고리즘은 신뢰성 브로드캐스트와 좌표별 잘라낸 평균(RB-TM)을 사용하여 $ n \geq 3f+1 $ 조건에서 최적의 베즈반티나 내성 확보를 달성한다.
• 정상 노드의 모델 지름을 제한하고 효과적 그래디언트를 분석함으로써 정당성 증명을 수행한다.
• 협동 학습에서 평균 합의로의 엄밀한 환원을 적용하여 정당성 보장을 유지하고, 불가능성 결과 유도를 가능하게 한다.
• i.i.d. 및 non-i.i.d. 데이터 조건 하에서 3개의 ResNet 모델에 대해 알고리즘을 구현하고 평가하여 처리량 오버헤드를 측정한다.

실험 결과

연구 질문

• RQ1 협동 학습은 완전히 탈중앙화된, 베즈반티나의, 이질적인, 비동기적인, 비볼록 환경에서 체계적으로 정의되고 해결될 수 있는가?
• RQ2 협동 학습과 평균 합의라는 새로운 추상화 사이에 근본적인 등가성이 존재하는가?
• RQ3 협동 학습에서 베즈반티나 내성 확보를 위해 필요한 최소 시스템 조건(예: $ n \geq 3f+1 $)은 무엇인가?
• RQ4 평균 합의의 정확성과 내성에 대한 근본적 한계(불가능성 정리)는 무엇이며, 이를 통해 협동 학습의 한계는 어떻게 도출되는가?
• RQ5 실제 비i.i.d. 데이터 분포 조건 하에서 제안된 알고리즘 간의 성능 오버헤드는 어떻게 비교되는가?

주요 결과

• 첫 번째 알고리즘은 승수 상수 범위 내에서 점근적으로 최적의 평균 상수를 확보하며, $ n \geq 6f+1 $ 가 필요하다. i.i.d. 환경에서는 최대 1.7배 이하의 저하를 보이며, non-i.i.d. 환경에서는 거의 3배의 저하를 보인다.
• 두 번째 알고리즘은 $ n \geq 3f+1 $ 조건에서 최적의 베즈반티나 내성을 확보하며, 약 10배 수준의 오버헤드를 약간 초과한다. non-i.i.d. 환경에서의 저하는 i.i.d. 경우의 두 배이다.
• RB-TM 알고리즘은 $ \frac{4f}{\sqrt{h}} $-평균 합의를 달성한다. 여기서 $ h $ 는 정상 노드의 수이며, 이는 진짜 평균으로부터 유한한 편차를 보장한다.
• 모든 알고리즘이 $ n \leq 3f $ 일 때 베즈반티나 평균 합의를 달성할 수 없음을 증명하여, 시스템 크기에 대한 근본적 하한을 확립한다.
• 이 논문은 이 적대적 환경에서의 모든 협동 학습 프로토콜이 평균 합의 문제에서 도출된 동일한 불가능성 결과에 의해 제약을 받는다고 규명한다.
• 협동 학습과 평균 합의 사이의 등가성은 더 단순한 평균 합의 추상화 분석을 통해 최적의 프로토콜과 엄밀한 불가능성 정리를 도출할 수 있도록 한다.