[논문 리뷰] AdaSplit: Adaptive Trade-offs for Resource-constrained Distributed Deep Learning

Ayush Chopra, Surya Kant Sahu외 5명|arXiv (Cornell University)|2021. 12. 02.

Privacy-Preserving Technologies in Data인용 수 14

한 줄 요약

AdaSplit는 자원 제약이 있는 분산 딥러닝 환경에서 동적으로 자원 사용을 조절하는 적응형 프레임워크를 제안한다. 실시간 서버 기울기 의존성을 제거하고 공유 서버 모델에 대한 희소하고 간헐적인 업데이트를 가능하게 함으로써 대역폭과 계산량을 줄인다. 제안된 C3-Score 지표를 통해 광범위한 벤치마크를 실시한 결과, 비슷한 대역폭과 계산 자원 조건에서도 페더레이티드 및 스플릿 러닝 기준보다 높은 정확도를 달성한다.

ABSTRACT

Distributed deep learning frameworks like federated learning (FL) and its variants are enabling personalized experiences across a wide range of web clients and mobile/IoT devices. However, FL-based frameworks are constrained by computational resources at clients due to the exploding growth of model parameters (eg. billion parameter model). Split learning (SL), a recent framework, reduces client compute load by splitting the model training between client and server. This flexibility is extremely useful for low-compute setups but is often achieved at cost of increase in bandwidth consumption and may result in sub-optimal convergence, especially when client data is heterogeneous. In this work, we introduce AdaSplit which enables efficiently scaling SL to low resource scenarios by reducing bandwidth consumption and improving performance across heterogeneous clients. To capture and benchmark this multi-dimensional nature of distributed deep learning, we also introduce C3-Score, a metric to evaluate performance under resource budgets. We validate the effectiveness of AdaSplit under limited resources through extensive experimental comparison with strong federated and split learning baselines. We also present a sensitivity analysis of key design choices in AdaSplit which validates the ability of AdaSplit to provide adaptive trade-offs across variable resource budgets.

연구 동기 및 목표

• 제한된 컴퓨팅 능력과 대역폭을 가진 저성능 엣지 디바이스에 대규모 딥러닝 모델을 구현하는 데 점점 커지는 과제를 해결한다.
• 스플릿 러닝의 한계, 특히 데이터 이질성 상황에서의 높은 통신 빈도와 열악한 수렴 성능 문제를 해결한다.
• 분산 학습에서 클라이언트 측의 계산 및 통신 오버헤드를 줄이면서도 모델 정확도를 유지하거나 향상시킨다.
• 대역폭, 컴퓨팅 능력, 수렴 속도 등 다차원 자원 제약 조건 하에서 성능을 평가할 수 있는 통합 평가 지표인 C3-Score를 제안한다.
• 변동하는 자원 예산에 맞춰 통신 빈도와 모델 업데이트의 희소성 등을 동적으로 조정함으로써 유연한 자원 활용을 가능하게 한다.

제안 방법

• 서버 모델을 비동기적으로 간헐적으로 학습시켜 클라이언트가 서버 기울기를 실시간으로 의존하지 않도록 하여 통신 주파수를 감소시킨다.
• 서버 측에서 희소한 파라미터 업데이트를 도입하여 각 클라이언트가 서버 모델 파라미터의 일부만 업데이트하도록 하여 대역폭과 계산 부담을 줄인다.
• 클라이언트와 서버의 학습 단계를 분리하여 비동기 실행을 가능하게 하여 시스템 효율성을 향상시키고 느린 클라이언트 문제를 완화한다.
• 모델의 과잉 파rameter화를 활용해 클라이언트가 서버 모델의 관련성이 높은 희소 파artitions에 집중하도록 하여 수렴성과 성능을 향상시킨다.
• 클라이언트 활성화 값과 선택된 서버 기울기만 교환하는 통신 효율적인 파이프라인을 설계하여 메시지 크기를 최소화한다.
• 대역폭, 컴퓨팅 능력, 수렴 속도 등의 복합 제약 조건 하에서 모델 성능을 정량적으로 평가할 수 있도록 C3-Score 지표를 제안한다.

실험 결과

연구 질문

• RQ1 스플릿 러닝을 대역폭과 계산량 측면에서 더 효율적으로 개선하면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 자원 제약이 있는 분산 학습 환경에서 통신, 계산, 수렴 간의 동적이고 적응적인 트레이드오프를 달성할 수 있는가?
• RQ3 다양한 자원 예산 조건에서 AdaSplit의 성능은 페더레이티드 러닝 및 스플릿 러닝과 비교해 어떻게 다를까?
• RQ4 서버 모델의 파라미터 희소화가 이질적이고 비IID 데이터 설정에서 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ5 비동기 학습과 통신 빈도 감소가 저성능 엣지 환경에서의 확장성 향상에 얼마나 기여하는가?

주요 결과

• 비슷한 대역폭과 컴퓨팅 자원 조건에서도 AdaSplit은 비IID 데이터에서 강력한 페더레이티드 및 스플릿 러닝 기준보다 더 높은 테스트 정확도를 달성한다.
• 제안된 C3-Score 지표는 자원 예산 하에서 다차원 성능 트레이드오프를 효과적으로 측정하고 벤치마크하는 데 성공했다.
• 비동기 학습과 희소한 서버 업데이트를 통해 AdaSplit은 표준 스플릿 러닝 대비 통신 빈도를 최대 70%까지 감소시켜 대역폭 사용을 크게 줄였다.
• 민감도 분석 결과 AdaSplit는 다양한 자원 예산에서 뛰어난 성능을 유지함으로써 다양한 클라이언트 제약 조건에 적응 가능함을 확인했다.
• 클라이언트가 서버 모델의 희소하고 관련성이 높은 파artitions만 업데이트하도록 제약을 둠으로써 이질적 데이터에서 수렴 속도와 정확도를 향상시켰다.
• 실증 결과에 따르면 AdaSplit은 저대역폭, 저컴퓨팅 환경에서 기존의 스플릿 러닝 및 페더레이티드 러닝 기법보다 정확도와 효율성 면에서 뛰어난 성능을 보였다.