[논문 리뷰] Parity Models: A General Framework for Coding-Based Resilience in ML Inference

Jack Kosaian, K. V. Rashmi외 1명|arXiv (Cornell University)|2019. 05. 02.

Machine Learning and Data Classification참고 문헌 84인용 수 11

한 줄 요약

ParM는 신경망 기반의 패리티 모델을 사용하여 기계학습 추론 시스템에서 복호화 기반 내성 확보를 가능하게 하는 일반적인 프레임워크를 제안한다. 이는 정지나 장애 발생 시 예측치를 신속하게 복구할 수 있도록 하며, 자원이 동일한 기존 방법 대비 尾래턴시를 최대 3.5배 감소시키고 복제 방식 대비 2–4배 적은 오버헤드를 사용한다.

ABSTRACT

Machine learning models are becoming the primary workhorses for many applications. Production services deploy models through prediction serving systems that take in queries and return predictions by performing inference on machine learning models. In order to scale to high query rates, prediction serving systems are run on many machines in cluster settings, and thus are prone to slowdowns and failures that inflate tail latency and cause violations of strict latency targets. Current approaches to reducing tail latency are inadequate for the latency targets of prediction serving, incur high resource overhead, or are inapplicable to the computations performed during inference. We present ParM, a novel, general framework for making use of ideas from erasure coding and machine learning to achieve low-latency, resource-efficient resilience to slowdowns and failures in prediction serving systems. ParM encodes multiple queries together into a single parity query and performs inference on the parity query using a parity model. A decoder uses the output of a parity model to reconstruct approximations of unavailable predictions. ParM uses neural networks to learn parity models that enable simple, fast encoders and decoders to reconstruct unavailable predictions for a variety of inference tasks such as image classification, speech recognition, and object localization. We build ParM atop an open-source prediction serving system and through extensive evaluation show that ParM improves overall accuracy in the face of unavailability with low latency while using 2-4$ imes$ less additional resources than replication-based approaches. ParM reduces the gap between 99.9th percentile and median latency by up to $3.5 imes$ compared to approaches that use an equal amount of resources, while maintaining the same median.

연구 동기 및 목표

• 분산 클러스터에서의 정지 및 장애로 인한 생산 환경 예측 서빙 시스템의 높은 尾래턴시 문제를 해결한다.
• 복제(자원 비용이 높음)나 비일관성 있는 복호화 계산 방법(지연 오버헤드 또는 추론에 적용 불가) 등의 기존 접근 방식의 한계를 극복한다.
• 이미지 분류, 음성 인식, 객체 정위 등 다양한 기계학습 추론 작업에 대해 저지연, 자원 효율적인 내성 기능을 제공하는 일반 목적의 프레임워크를 설계한다.
• 특정 작업에 최적화된 인코딩 및 디코딩을 가능하게 하기 위해 새로운 구성 요소인 패리티 모델을 도입한다.
• 이상이 발생했을 경우 원인에 관계없이 내성 기능을 유지하면서도 정지나 장애 시에도 높은 예측 정확도를 유지를 달성한다.

제안 방법

• 학습 가능한 인코더를 사용해 다수의 입력 쿼리를 하나의 패리티 쿼리로 인코딩하여 패리티 모델에서 공동 추론을 가능하게 한다.
• 패리티 쿼리를 개별 예측치 복구가 가능한 표현으로 매핑할 수 있도록 신경망 기반 패리티 모델을 훈련한다.
• 패리티 모델의 출력에서 가용하지 않은 예측치의 근사치를 복원하기 위해 디코더 네트워크를 사용한다.
• 이미지 분류에 적합한 연결 기반 등 작업에 특화된 인코더 및 디코더를 설계하여 성능을 최적화하고 대역폭 오버헤드를 줄인다.
• 실세계 성능 및 지연 특성을 평가하기 위해 오픈소스 예측 서빙 시스템에 ParM을 통합한다.
• 에러 코딩 원리(원본 데이터를 복구하기 위해 k개의 (k+r) 단위 중 어느 것도 충분함)를 학습된 모델을 통해 추론 워크로드에 적응시킨다.

실험 결과

연구 질문

• RQ1 기계학습 추론 시스템에서 저지연성과 자원 효율성을 동시에 확보할 수 있는 일반적 프레임워크를 설계할 수 있는가?
• RQ2 신경망을 어떻게 활용해 정지나 장애 발생 시 신속하고 정확한 예측 복구를 가능하게 하는 패리티 모델을 학습할 수 있는가?
• RQ3 ParM은 복제 및 기타 복호화 계산 방법 대비 더 적은 자원을 사용하면서도 얼마나 효과적으로 尾래턴시를 감소시킬 수 있는가?
• RQ4 ParM은 이미지 분류, 음성 인식, 객체 정위 등 다양한 추론 작업에서 어떻게 성능을 발휘하는가?
• RQ5 ParM은 예측 정확도를 사전에 저하시키지 않으면서도 중앙값 지연은 유지하면서 99.9프cntile 지연 격차를 어떻게 크게 줄일 수 있는가?

주요 결과

• ParM는 자원이 동일한 기존 방법 대비 99.9프cntile 지연과 중앙값 지연 간 격차를 최대 3.5배 감소시키며, 중앙값 지연은 동일하게 유지한다.
• ParM는 유사한 내성 기능을 확보하기 위해 복제 기반 접근 방식 대비 2–4배 적은 추가 자원 오버헤드를 사용한다.
• 이상 발생 시 빠른 복구 기능 덕분에 전체 예측 정확도가 향상된다.
• ParM의 접근 방식은 k개의 쿼리에 대해 1/k의 네트워크 대역폭 오버헤드를 유발하지만, 이미지 연결 기반 방법(예: Narra 등 2019)은 k배의 오버헤드를 유발한다.
• 학습된 인코더 및 디코더 덕분에 장애가 발생하지 않은 경우에도 지연을 유발하지 않고 신속하고 저지연으로 복구가 가능하다.
• 이식성 있는 프레임워크로서 이미지 분류, 음성 인식, 객체 정위 등 다양한 추론 작업에 대해 작업에 특화된 최적화를 통해 적용 가능하다.