[논문 리뷰] Pipeline Parallelism for Inference on Heterogeneous Edge Computing

Yang Hu, Connor Imes외 5명|arXiv (Cornell University)|2021. 10. 28.

Advanced Neural Network Applications참고 문헌 35인용 수 11

한 줄 요약

EdgePipe는 이질적인 엣지 디바이스에서 정확도 손실 없이 대규모 비전 트랜스포머 모델을 가속화하는 데 사용되는 분산 추론 프레임워크이다. 계산, 메모리, 네트워크 능력이 상이한 디바이스에 모델을 최적으로 분할함으로써 16개 디바이스 클러스터에서 최대 11.88배의 처리량 속도 향상을 달성한다.

ABSTRACT

Deep neural networks with large model sizes achieve state-of-the-art results for tasks in computer vision (CV) and natural language processing (NLP). However, these large-scale models are too compute- or memory-intensive for resource-constrained edge devices. Prior works on parallel and distributed execution primarily focus on training -- rather than inference -- using homogeneous accelerators in data centers. We propose EdgePipe, a distributed framework for edge systems that uses pipeline parallelism to both speed up inference and enable running larger (and more accurate) models that otherwise cannot fit on single edge devices. EdgePipe achieves these results by using an optimal partition strategy that considers heterogeneity in compute, memory, and network bandwidth. Our empirical evaluation demonstrates that EdgePipe achieves $10.59 imes$ and $11.88 imes$ speedup using 16 edge devices for the ViT-Large and ViT-Huge models, respectively, with no accuracy loss. Similarly, EdgePipe improves ViT-Huge throughput by $3.93 imes$ over a 4-node baseline using 16 edge devices, which independently cannot fit the model in memory. Finally, we show up to $4.16 imes$ throughput improvement over the state-of-the-art PipeDream when using a heterogeneous set of devices.

연구 동기 및 목표

• 메모리에 맞지 않는 자원 제약이 있는 이질적인 엣지 디바이스에서 대규모 정확도가 높은 비전 트랜스포머 모델(예: ViT-Large, ViT-Huge)을 구동하는 데 도전하는 것.
• 기존의 파이프라인 병렬 처리 프레임워크는 동일한 환경을 위한 것으로 설계되어 있으며, 계산, 메모리, 네트워크 자원이 이질적인 엣지 환경에는 최적화되어 있지 않다는 한계를 극복하는 것.
• 이질적인 엣지 디바이스 간의 작업 부하를 균형 있게 분배하여 추론 처리량을 최대화하면서도 모델 정확도를 유지하는 최적의 분할 전략을 개발하는 것.
• 실제 엣지 테스트베드에서 파이프라인 병렬 처리의 효과성을 입증하며, 개별 디바이스가 전체 모델을 저장할 수 없는 경우도 포함한 시나리오를 다루는 것.

제안 방법

• 대규모 비전 트랜스포머 모델을 여러 단계로 분할하여 각각 다른 엣지 디바이스에 할당하는 파이프라인 병렬 처리를 적용한다.
• 계산, 메모리, 네트워크 대역폭을 포함한 이질적 디바이스 능력을 고려한 최적의 분할 매핑을 결정하기 위해 동적 프로그래밍(DP) 알고리즘을 사용한다.
• 마이크로배치 처리를 모델링하여 계산과 통신을 겹치게 하여 파이프라인 효율성을 향상시킨다.
• 각 워커가 다음 단계로만 출력을 전송하는 통신 최적화된 데이터 플로우를 구현하여 집합적 동기화를 방지한다.
• 모델 압축 기법(예: DeiT)과 통합하여 성능을 추가로 향상시키며, 상호 보완적인 이점을 보여준다.
• 다양한 엣지 디바이스(예: MinnowBoard, RCC-VE Network Boards)를 사용한 실제 엣지 테스트베드에서 평가하여 실제 조건 하에서의 성능를 검증한다.

실험 결과

연구 질문

• RQ1 정확도 손실 없이 이질적인 엣지 디바이스에 대규모 비전 트랜스포머의 추론을 효과적으로 가속화하기 위해 파이프라인 병렬 처리를 적용할 수 있는가?
• RQ2 이질적인 계산, 메모리, 네트워크 자원을 가진 엣지 시스템에서 파이프라인 병렬 처리의 최적 분할 전략은 무엇인가?
• RQ3 EdgePipe의 성능은 이질적인 엣지 환경에서 PipeDream 및 GPipe와 같은 최첨단 프레임워크와 비교해 어떻게 되는가?
• RQ4 파이프라인 병렬 처리와 모델 압축을 얼마나 잘 조합하여 엣지 추론 처리량을 추가로 향상시킬 수 있는가?
• RQ5 EdgePipe는 개별 엣지 디바이스의 메모리에 들어가지 않는 모델의 추론을 가능하게 할 수 있는가?

주요 결과

• ViT-Large 및 ViT-Huge 모델에 대해 16개 디바이스로 구성된 동일한 클러스터에서 각각 10.59배 및 11.88배의 처리량 속도 향상을 달성하였으며, 정확도 손실 없이 성능 향상을 이룩하였다.
• 개별 디바이스가 ViT-Huge를 담을 수 없는 4노드 베이스라인 환경에서 16개 디바이스를 사용해 처리량을 3.93배 향상시켰다.
• 이질적인 엣지 디바이스 세트를 사용할 경우 PipeDream 대비 최대 4.16배 높은 처리량을 달성하였다.
• 압축된 모델(예: DeiT-Small, DeiT-Tiny)은 EdgePipe와 함께 더욱 뛰어난 확장성을 보이며, 16개 디바이스에서 최대 초당 17.23장의 이미지를 처리할 수 있었다.
• 동적 프로그래밍 기반의 분할 전략은 이질적 디바이스 간의 작업 부하를 효과적으로 균형 있게 분배하여 효율적인 파이프라인 실행을 가능하게 하였다.
• 파이프라인 병렬 처리와 모델 압축은 상호 보완적이다. EdgePipe는 모델이 압축된 경우에도 속도 향상을 유지하며, 두 기법 간의 상호 작용을 입증하였다.