[논문 리뷰] Distributed Newton Can Communicate Less and Resist Byzantine Workers

Avishek Ghosh, Raj Kumar Maity외 1명|arXiv (Cornell University)|2020. 06. 15.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 5

한 줄 요약

이 논문은 통신 비용을 줄이고 Byzantine 공격에 강건한 분산 2차 최적화 알고리즘인 COMRADE를 제안한다. 이 알고리즘은 각 반복마다 워커가 로컬 헤시안 역행렬과 로컬 기울기의 곱인 하나의 벡터만 전송하도록 하여 통신을 최소화하고, 노름 기반 필터링을 통해 악성 워커를 탐지한다. 통신 비용을 줄였음에도 불구하고 통계 오차가 매우 작고 선형-이차 수렴 속도를 달성하여, 2차 최적화와 Byzantine 강건성을 동시에 구현한 최초의 방법이다.

ABSTRACT

We develop a distributed second order optimization algorithm that is communication-efficient as well as robust against Byzantine failures of the worker machines. We propose COMRADE (COMunication-efficient and Robust Approximate Distributed nEwton), an iterative second order algorithm, where the worker machines communicate only once per iteration with the center machine. This is in sharp contrast with the state-of-the-art distributed second order algorithms like GIANT [34] and DINGO[7], where the worker machines send (functions of) local gradient and Hessian sequentially; thus ending up communicating twice with the center machine per iteration. Moreover, we show that the worker machines can further compress the local information before sending it to the center. In addition, we employ a simple norm based thresholding rule to filter-out the Byzantine worker machines. We establish the linear-quadratic rate of convergence of COMRADE and establish that the communication savings and Byzantine resilience result in only a small statistical error rate for arbitrary convex loss functions. To the best of our knowledge, this is the first work that addresses the issue of Byzantine resilience in second order distributed optimization. Furthermore, we validate our theoretical results with extensive experiments on synthetic and benchmark LIBSVM [5] data-sets and demonstrate convergence guarantees.

연구 동기 및 목표

• 분산 2차 최적화에서 높은 통신 오버헤드와 Byzantine 실패라는 이중 과제를 해결하기 위해.
• 각 반복마다 워커에서 파라미터 서버로의 전송을 하나로 줄여 분산 뉴턴 방법의 통신 비용을 최소화하기 위해.
• 단순한 노름 기반 필터링 메커니즘을 통해 Byzantine 워커에 대한 강건성을 확보하기 위해.
• 압축과 장애 내성 기능을 통합하면서도 빠른 수렴 속도(선형-이차 속도)를 유지하기 위해.
• 임의의 볼록 손실 함수 하에서 수렴성과 통계 오차에 대한 이론적 보장을 확립하기 위해.

제안 방법

• 워커는 로컬 헤시안 역행렬과 로컬 기울기의 곱을 계산하여, 각 반복마다 이 d차원 벡터만 중앙 기계로 전송한다.
• 중앙 기계는 벡터의 노름에 기반한 강력한 평균화 규칙을 사용하여 Byzantine 워커를 필터링하는 방식으로 이 벡터들을 집계한다.
• 로컬 업데이트 벡터를 압축하여 추가로 통신을 줄이기 위해 ρ-근사 압축기를 적용한다.
• 스케치 추론 기법을 사용하여, 헤시안 역행렬-기울기 곱의 경험 평균이 전역 뉴턴 단계를 잘 근사함을 보여준다.
• 최대 α < 1/2의 워커가 Byzantine일 것으로 가정할 때, 노름이 비정상적으로 큰 업데이트를 제거하는 임계값 규칙을 통해 Byzantine 강건성을 확보한다.
• 이론적 분석을 통해 헤시안 리프시츠 연속성과 유한한 압축 조건 하에서 유한한 통계 오차를 가진 선형-이차 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 분산 2차 최적화 알고리즘이 통신 비용 효율성과 Byzantine 실패에 대한 강건성 모두를 동시에 확보할 수 있는가?
• RQ2 2차 최적화 방법의 통신 비용을 반복당 두 번의 전송에서 한 번으로 줄일 수 있는가?
• RQ3 노름 기반 필터링이 분산 뉴턴 방법에서 Byzantine 동작을 효과적으로 탐지하고 완화하는 데 기여하는가?
• RQ4 압축과 Byzantine 공격이 2차 최적화의 수렴 속도와 통계 오차에 미치는 영향은 무엇인가?
• RQ5 압축과 Byzantine 실패 모델을 모두 고려할 때 2차 최적화 방법에 대해 이론적 수렴 보장을 확립할 수 있는가?

주요 결과

• COMRADE는 각 워커가 반복당 하나의 전송만 수행하여 GIANT 및 DINGO와 같은 최첨단 방법 대비 O(d) 비트의 통신 절감을 달성한다.
• 기본 가정 하에서 선형-이차 수렴 속도를 확보하였으며, 압축과 Byzantine 워커로 인한 통계 오차는 매우 작다.
• α < 1/2 조건 하에서 노름 기반 임계값 규칙을 통해 악성 업데이트를 고도로 필터링함으로써 Byzantine 강건성을 확보한다.
• 이론적 분석을 통해 압축과 Byzantine 워커로 인한 오차가 ε²_comp,byz와 ζ²_comp,byz로 유한하게 bound됨을 보여주며, 이는 Byzantine 워커 비율과 압축 품질에 비례한다.
• LIBSVM 데이터셋에서의 실험을 통해 가우시안 공격과 무작위 레이블 공격 모두에서 수렴 보장을 확인하였으며, 20%의 Byzantine 워커 조건에서도 안정적인 정확도를 유지하였다.
• ρ-근사 압축기(예: QSGD, top-k)의 사용은 수렴 성능을 훼손하지 않으면서도 추가적인 통신 절감을 가능하게 하였다.