[논문 리뷰] Collage Inference: Tolerating Stragglers in Distributed Neural Network Inference using Coding.

Krishna Giri Narra, Zhifeng Lin외 3명|arXiv (Cornell University)|2019. 04. 27.

Advanced Neural Network Applications참고 문헌 32인용 수 6

한 줄 요약

이 논문은 분산 신경망 추론에서 느린 노드(straggler nodes)를 견디기 위해 특수하게 설계된 콜라주-CNN 모델을 사용하는 코딩된 추론 방법인 콜라주 추론(Collage Inference)을 제안한다. 여러 입력 이미지를 하나의 콜라주로 처리함으로써, 정확도를 훼손하지 않고도 복제 기반 접근 방식에 비해 99번째 백분율 지연(latency)을 1.45배에서 2.46배까지 감소시킨다.

ABSTRACT

MLaaS (ML-as-a-Service) offerings by cloud computing platforms are becoming increasingly popular these days. Pre-trained machine learning models are deployed on the cloud to support prediction based applications and services. For achieving higher throughput, incoming requests are served by running multiple replicas of the model on different machines concurrently. Incidence of straggler nodes in distributed inference is a significant concern since it can increase inference latency, violate SLOs of the service. In this paper, we propose a novel coded inference model to deal with stragglers in distributed image classification. We propose modified single shot object detection models, Collage-CNN models, to provide necessary resilience efficiently. A Collage-CNN model takes collage images formed by combining multiple images as its input and performs multi-image classification in one shot. We generate custom training collages using images from standard image classification datasets and train the model to achieve high classification accuracy. Deploying the Collage-CNN models in the cloud, we demonstrate that the 99th percentile latency can be reduced by 1.45X to 2.46X compared to replication based approaches and without compromising prediction accuracy.

연구 동기 및 목표

• 분산 머신러닝 추론에서 느린 노드(straggler nodes) 문제를 해결함으로써 지연(latency)을 증가시키고 서비스 수준 목표(SLOs)를 위반하는 문제를 해결하기 위해.
• 클라우드 기반 MLaaS 배포 환경에서 정확도를 유지하면서 처리량을 높이고 지연(latency)을 감소시키는 내성적인 추론 시스템을 설계하기 위해.
• 단일 프로퍼션(forward pass) 동안 병합된 입력 이미지를 사용하여 다중 이미지 분류를 수행할 수 있는 새로운 신경망 아키텍처인 콜라주-CNN(Collage-CNN)을 개발하기 위해.
• 기존의 복제 기반 접근 방식과 비교하여 실제 분산 추론 워크로드에서 제안된 방법의 성능을 평가하기 위해.

제안 방법

• 이 방법은 다수의 이미지를 하나의 복합 이미지(composite image)로 제시했을 때 동시에 여러 이미지를 분류할 수 있도록 훈련된 수정된 단일 스포트 객체 검출 모델인 콜라주-CNN을 도입한다.
• 표준 이미지 분류 데이터셋에서 여러 이미지를 공간 패딩을 사용해 하나의 입력 텐서로 결합함으로써, 맞춤형 훈련 콜라주를 생성한다.
• 모델은 단일 프로퍼션(forward pass) 동안 콜라주에 포함된 모든 이미지의 클래스 레이블을 예측하도록 엔드 투 엔드로 훈련되어, 다중 입력 간의 동시 추론을 가능하게 한다.
• 이 방법은 코딩 이론 원리를 활용하여 다수의 추론 작업을 단일 계산으로 인코딩함으로써, 재현성과 복구 메커니즘을 통해 느린 노드를 견딜 수 있도록 한다.
• 다수의 입력 계산을 단일이고 더 큰 추론 작업으로 인코딩하는 코딩된 계산 전략을 사용하여, 느리거나 지연된 노드로부터 복구할 수 있도록 한다.
• 클라우드 환경에 배포함으로써, 시스템은 빠르게 동작하는 노드의 결과만을 사용하여 추론을 완료할 수 있으며, 설계상 느린 노드를 무시한다.

실험 결과

연구 질문

• RQ1 코딩된 추론 접근 방식은 예측 정확도를 훼손하지 않고 분산 신경망 추론의 지연(latency)을 줄일 수 있는가?
• RQ2 합성 콜라주에서 훈련된 다중 이미지 분류 모델이 개별 입력에 대해 분류 성능을 유지하는 데 얼마나 효과적인가?
• RQ3 실제 분산 추론 워크로드에서 콜라주-CNN은 복제 기반 전략에 비해 99번째 백분율 지연(latency)을 얼마나 줄일 수 있는가?
• RQ4 재현성과 부분 계산 완료를 활용하여 시스템은 느린 노드를 어떻게 처리하는가?

주요 결과

• 콜라주 추론 접근 방식은 분산 추론 워크로드에서 복제 기반 방법에 비해 99번째 백분율 추론 지연(latency)을 1.45배에서 2.46배까지 감소시켰다.
• 이 방법은 표준 추론 기준선과 비교했을 때 정확도에 변화가 없이도 높은 분류 정확도를 유지하였다.
• 맞춤형 훈련 콜라주의 사용은 콜라주-CNN 모델이 복합 입력 내의 개별 이미지에 대해 잘 일반화할 수 있도록 했다.
• 시스템은 빠르게 동작하는 노드의 결과만을 사용하여 추론을 완료함으로써 느린 노드를 효과적으로 견뎌내었으며, 이로 인해 전체 처리량이 향상되었다.
• 기존 모델 아키텍처나 데이터 분포에 대한 변경 없이도 상당한 지연(latency) 감소를 달성하였다.
• 결과적으로, 콜라주 처리를 통한 코딩된 추론은 MLaaS 워크로드에 대한 복제 기반 접근 방식의 실현 가능하고 효율적인 대안임을 입증하였다.