[논문 리뷰] DRACO: Robust Distributed Training via Redundant Gradients.

Lingjiao Chen, Hongyi Wang외 2명|arXiv (Cornell University)|2018. 03. 27.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

DRACO는 계산 비용이 높은 중앙값 집계에 의존하지 않고, 오류 수정 코드 이론을 활용해 부가적인 기울기를 생성함으로써 파arameter server가 악성 업데이트를 탐지하고 제거할 수 있도록 하는 확장 가능한 프레임워크이다. 이는 중앙값 기반 방법에 비해 속도가 수개의 지수만큼 빠르며, 악성 노드가 존재하더라도 정상적인 수렴 성능을 달성한다.

ABSTRACT

Distributed model training is vulnerable to worst-case system failures and adversarial compute nodes, i.e., nodes that use malicious updates to corrupt the global model stored at a parameter server (PS). To tolerate node failures and adversarial attacks, recent work suggests using variants of the geometric median to aggregate distributed updates at the PS, in place of bulk averaging. Although median-based update rules are robust to adversarial nodes, their computational cost can be prohibitive in large-scale settings and their convergence guarantees often require relatively strong assumptions. In this work, we present DRACO, a scalable framework for robust distributed training that uses ideas from coding theory. In DRACO, each compute node evaluates redundant gradients that are then used by the parameter server to eliminate the effects of adversarial updates. We present problem-independent robustness guarantees for DRACO and show that the model it produces is identical to the one trained in the adversary-free setup. We provide extensive experiments on real datasets and distributed setups across a variety of large-scale models, where we show that DRACO is several times to orders of magnitude faster than median-based approaches.

연구 동기 및 목표

• 악성 업데이트를 주입하는 악성 컴퓨팅 노드에 취약한 분산 학습의 문제를 해결하기 위해.
• 대규모 환경에서 계산 비용이 높아지기 때문에 실용적이지 않은 중앙값 기반 집계의 확장 가능한 대체 방법을 설계하기 위해.
• 최종 모델이 악성 노드가 없는 상황에서의 학습 결과와 동일하게 유지되도록 보장하는 문제 독립적인 강건성 보장을 제공하기 위해.
• 강력한 가정 없이도 표준 학습과 동일한 수렴 성능을 달성하기 위해.

제안 방법

• 각 컴퓨팅 노드는 오류 수정 코드를 사용해 부가 기울기를 계산하여, 일부 노드가 손상된 경우에도 파라미터 서버가 정확한 전역 업데이트를 복원할 수 있도록 한다.
• 파라미터 서버는 악성 업데이트를 식별하고 제거할 수 있도록 복원 과정을 통해 부가 기울기를 집계한다.
• 프레임워크는 최대 일정 비율의 악성 노드에 대해 강건성을 보장하기 위해 코드 이론의 원리를 활용한다.
• 선형 대수학적 복원을 통해 중앙값 계산을 피함으로써 계산 오버헤드를 크게 감소시킨다.
• 설계는 약한 가정 하에 최종 모델이 악성 노드가 없는 경우와 정확히 동일하게 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 오류 수정 코드 이론 기반 접근이 중앙값 기반 집계의 계산 비용 없이 분산 학습의 강건성을 달성할 수 있는가?
• RQ2 제안된 방법이 악성 노드가 없는 환경에서와 동일한 모델 수렴을 유지하는가?
• RQ3 대규모 모델과 분산 환경에서 이 프레임워크의 속도와 강건성 측면에서의 확장성은 어떻게 되는가?
• RQ4 부가 기울기를 통해 악성 업데이트를 효율적으로 탐지하고 제거할 수 있는가?

주요 결과

• DRACO는 중앙값 기반 강건 집계 방법에 비해 수개의 지수만큼 더 빠른 학습 속도를 달성한다.
• DRACO로 학습된 최종 모델은 악성 노드가 없는 경우와 정확히 동일하여 정확성이 보장된다.
• 프레임워크는 문제 독립적인 강건성 보장을 제공하여 다양한 모델과 데이터셋에서 작동함을 의미한다.
• 실제 데이터셋과 대규모 분산 환경에서의 실험을 통해 DRACO의 확장성과 효율성이 확인되었다.