[논문 리뷰] FTPipeHD: A Fault-Tolerant Pipeline-Parallel Distributed Training Framework for Heterogeneous Edge Devices

Yuhao Chen, Qianqian Yang외 3명|arXiv (Cornell University)|2021. 10. 06.

IoT and Edge/Fog Computing참고 문헌 39인용 수 4

한 줄 요약

FTPipeHD는 실시간 장치 용량을 기반으로 동적으로 모델 분할을 최적화하고 주기적인 가중치 재분배를 통해 장치 장애 시 빠른 복구를 가능하게 하는 고장 내성적이고 파이프라인 병렬 분산 학습 프레임워크이다. 높은 이종성 조건에서도 최신 기술 대비 6.8배 빠른 학습을 달성하며, 고장 발생 시에도 성능을 유지한다.

ABSTRACT

With the increased penetration and proliferation of Internet of Things (IoT) devices, there is a growing trend towards distributing the power of deep learning (DL) across edge devices rather than centralizing it in the cloud. This development enables better privacy preservation, real-time responses, and user-specific models. To deploy deep and complex models to edge devices with limited resources, model partitioning of deep neural networks (DNN) model is necessary, and has been widely studied. However, most of the existing literature only considers distributing the inference model while still relying centralized cloud infrastructure to generate this model through training. In this paper, we propose FTPipeHD, a novel DNN training framework that trains DNN models across distributed heterogeneous devices with fault tolerance mechanism. To accelerate the training with time-varying computing power of each device, we optimize the partition points dynamically according to real-time computing capacities. We also propose a novel weight redistribution approach that replicates the weights to both the neighboring nodes and the central node periodically, which combats the failure of multiple devices during training while incurring limited communication cost. Our numerical results demonstrate that FTPipeHD is 6.8x faster in training than the state of the art method when the computing capacity of the best device is 10x greater than the worst one. It is also shown that the proposed method is able to accelerate the training even with the existence of device failures.

연구 동기 및 목표

• 클라우드 기반 중앙 집중식 학습의 한계를 해결하여 IoT 응용 프로그램에서 개인정보 보호, 지연 시간, 맞춤형 처리를 향상시키기 위해.
• 자원이 제한된 엣지 디바이스에서 복수의 이종 디바이스에 걸쳐 분산하여 딥 네트워크의 현장 학습을 가능하게 하기 위해.
• 엣지 환경에서의 동적 장치 가용성과 변동하는 컴퓨팅 용량에 기인한 과제를 극복하기 위해.
• 분산 학습 중 장치 고장 발생 시 통신 오버헤드를 최소화하면서 고장 내성성을 확보하기 위해.
• 이웃 및 중심 노드 간의 동적 모델 분할과 효율적인 가중치 복제를 통해 학습 속도를 가속화하기 위해.

제안 방법

• 각 엣지 디바이스의 현재 컴퓨팅 용량을 기반으로 실시간으로 모델 분할 지점을 동적으로 조정하여 워크로드 균형을 맞추고 학습 속도를 향상시킨다.
• 이중으로 가까운 워커와 중심 노드에 정기적으로 모델 가중치를 복제하는 새로운 가중치 재분배 메커니즘을 도입한다.
• 파이프라인 병렬 처리를 활용해 포워드 및 백워드 전파를 다수의 디바이스에 분산하여 단계 간 동시 계산을 가능하게 한다.
• 체인 복제와 글로벌 복제를 활용해 고장 내성성을 확보한다: 장치가 고장 나면 인접 및 중심 노드가 즉시 해당 워크로드를 대체할 수 있다.
• 가중치 복제를 배치 단위로 전송하는 대신 주기적 간격으로 제한하여 통신 비용을 최소화한다.
• 과적합을 방지하면서도 새로운 데이터를 엣지 디바이스에서 사용해 점진적인 모델 업데이트를 가능하게 하여 지속적 학습을 지원한다.

실험 결과

연구 질문

• RQ1 계산 용량이 다양하고 시간에 따라 변하는 이종 엣지 디바이스에서 분산 DNN 학습을 어떻게 가속화할 수 있는가?
• RQ2 기하학적 통신 비용이 과도하게 증가하지 않도록 하면서도 파이프라인 병렬 학습에서 고장 내성성을 확보할 수 있는 메커니즘은 무엇인가?
• RQ3 현장에서의 학습이 개인정보 보호를 유지하면서 실시간 추론을 가능하게 하고 모델 성능을 유지를 위해 어떻게 설계되어야 하는가?
• RQ4 높은 장치 이종성 조건에서 동적 모델 분할이 학습 속도 향상에 얼마나 기여하는가?
• RQ5 제안된 가중치 재분배 기법은 고장 발생 후 성능 저하를 최소화하면서 얼마나 효과적으로 장애 복구를 수행하는가?

주요 결과

• 최고 장치가 최악 장치보다 10배 빠를 경우, FTPipeHD는 최신 기술 대비 6.8배 더 빠른 학습을 달성한다.
• 장치 고장 발생 후 FTPipeHD는 오직 2.24초의 복구 오버헤드로 학습 성능을 복구하고 유지한다. 반면 ResPipe는 고장 후 한 에포크 학습에 59.18분이 소요된다.
• FTPipeHD에서는 장애 복구 후 배치당 학습 시간이 거의 변화가 없지만, ResPipe의 경우 학습 시간이 크게 증가하고 지속적으로 높은 수준을 유지한다.
• 제안된 고장 내성 메커니즘은 ResPipe 대비 고장 후 학습 시간을 6.9배 단축시켜 실질적으로 복구 비용을 무시할 수 있게 한다.
• 3대의 라즈베리 파이 장치에서 FTPipeHD는 10% 데이터 스트림을 활용해 지속적 학습을 성공적으로 수행하였으며, 시간이 지남에 따라 미세 조정 전 수준의 모델 정확도를 복원하였다.
• 단일 장치 학습은 메모리 제약으로 인해 499배치 후 실패함을 입증하여 엣지 디바이스에서 분산 학습의 必要성 을 확인하였다.