[논문 리뷰] Collage Inference: Using Coded Redundancy for Low Variance Distributed Image Classification

Krishna Giri Narra, Zhifeng Lin외 3명|arXiv (Cornell University)|2019. 04. 27.

Advanced Neural Network Applications참고 문헌 42인용 수 4

한 줄 요약

이 논문은 분산 이미지 분류에서 꼬리 지연(latency)을 줄이기 위해 다중 이미지를 동시에 한 번의 추론 단계에서 분류할 수 있는 고유한 컨볼루션 신경망(collision-cnn)을 사용하는 코딩된 중복 기법인 콜라주 추론(collage inference)을 제안한다. 여러 요청을 집단으로 간주하고, 저비용의 다중 이미지 분류기(backup)를 활용함으로써, 복제 기반 기법 대비 99번째 백분위수 지연(latency)을 1.2배에서 2배까지 감소시키고, 분산을 1.8배에서 15배까지 감소시킨다. 이는 높은 정확도를 유지하면서 이루어진다.

ABSTRACT

MLaaS (ML-as-a-Service) offerings by cloud computing platforms are becoming increasingly popular. Hosting pre-trained machine learning models in the cloud enables elastic scalability as the demand grows. But providing low latency and reducing the latency variance is a key requirement. Variance is harder to control in a cloud deployment due to uncertainties in resource allocations across many virtual instances. We propose the collage inference technique which uses a novel convolutional neural network model, collage-cnn, to provide low-cost redundancy. A collage-cnn model takes a collage image formed by combining multiple images and performs multi-image classification in one shot, albeit at slightly lower accuracy. We augment a collection of traditional single image classifier models with a single collage-cnn classifier which acts as their low-cost redundant backup. Collage-cnn provides backup classification results if any single image classification requests experience slowdown. Deploying the collage-cnn models in the cloud, we demonstrate that the 99th percentile tail latency of inference can be reduced by 1.2x to 2x compared to replication based approaches while providing high accuracy. Variation in inference latency can be reduced by 1.8x to 15x.

연구 동기 및 목표

• 자원 경쟁과 느린 처리자(straggler) 효과로 인한 클라우드 기반 분산 이미지 분류에서의 높은 꼬리 지연과 분산을 해결하기 위해.
• MLaaS 환경에서 요청 복제의 높은 오버헤드를 피하면서도 저비용이고 확장 가능한 중복 메커니즘을 설계하기 위해.
• 예측 정확도 손실 최소화로 다중 이미지 분류가 가능한 전용 CNN 아키텍처(collision-cnn)를 개발하기 위해.
• 실제 클라우드 환경에서의 배포를 통해 콜라주 추론이 추론 지연과 분산을 정확도를 희생시키지 않고 어떻게 효과적으로 줄이는지 평가하기 위해.

제안 방법

• 콜라주-cnn 모델은 다수의 입력 이미지를 공간적으로 결합하여 하나의 다중 객체 입력으로 만든 콜라주 이미지를 처리하고, 이를 통해 공동 분류를 수행한다.
• 단일 콜라주-cnn는 다수의 개별 이미지 분류기(s-cnn 모델)의 코딩된 중복 백업 역할을 하며, 개별 요청이 느려질 경우 대체 예측을 제공한다.
• 이 방법은 로드 밸런서가 여러 추론 요청을 집단으로 묶을 수 있는 능력을 활용하여, 비용을 최소한도로 유지하면서 효율적인 배치 처리와 중복을 가능하게 한다.
• 콜라주-cnn의 학습 데이터는 데이터 증강 및 지식 정복 기법을 사용하여 생성되며, 성능 향상을 위해 s-cnn(ResNet-34)을 교사 모델로 활용한다.
• 기존의 파리티 모델 기반 프레임워크인 ParM와 유사한 프레임워크에서 사용되는 표준 파리티 모델보다 높은 정확도를 달성하기 위해 다중 객체 분류에 최적화된 아키텍처를 설계하였다.
• 실제 클라우드 환경에서 시스템을 구축하여 복제 기반 접근 방식과의 비교를 통해 실제 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 저비용의 백업으로서 단일 다중 이미지 분류기가 분산 이미지 분류에서 꼬리 지연을 효과적으로 줄이는 데 유용한가?
• RQ2 재현 가능한 추론에 사용될 때, 콜라주-cnn의 정확도는 표준 파리티 모델과 비교해 어떻게 되는가?
• RQ3 콜라주 추론은 요청 복제 대비 99번째 백분위수 지연과 분산을 얼마나 줄일 수 있는가?
• RQ4 MLaaS 추론에서 코딩된 중복을 사용할 경우 정확도, 자원 비용, 지연 감소 간의 상호 상충 관계는 어떠한가?

주요 결과

• 콜라주 추론은 클라우드 환경에서 복제 기반 접근 방식 대비 99번째 백분위수 추론 지연을 1.2배에서 2배까지 감소시킨다.
• 이 방법은 지연 분산을 1.8배에서 15배까지 감소시켜 응답 시간의 일관성을 크게 향상시킨다.
• 3x3 콜라주-cnn는 CIFAR-10에서 78.3%의 정확도를 달성하여, 유사한 크기의 학생 모델(57%)과 ParM의 파리티 모델(74%)을 모두 능가한다.
• 동일한 컴퓨팅 자원을 사용할 때, 콜라주-cnn는 4장의 CIFAR-10 이미지를 분류할 때 파리티 모델(88.91% 대 74%)보다 더 높은 정확도를 기록한다.
• ResNet-34 교사 모델을 활용한 지식 정복은 압축된 모델의 정확도를 향상시키지만, 커스터마이징된 콜라주-cnn는 여전히 그들을 능가한다.
• 이 접근 방식은 사전 복제나 근사 기법의 정확도 손실을 피하면서도 높은 컴퓨팅 및 스토리지 오버헤드 없이 효과적인 느린 처리자(straggler) 완화를 가능하게 한다.