[논문 리뷰] Willump: A Statistically-Aware End-to-end Optimizer for Machine Learning Inference

Peter Kraft, Daniel Kang외 4명|arXiv (Cornell University)|2019. 06. 03.

Machine Learning and Data Classification참고 문헌 41인용 수 8

한 줄 요약

Willump은 기계학습 추론을 위한 통계적 인식이 가능한 엔드 투 엔드 최적화 도구로, 두 가지 새로운 최적화 기법을 자동으로 적용한다: 분류 속도 향상을 위해 경험적으로 선택된 저비용·고영향도 특징을 사용한 특징 캐스케ading, 그리고 자동으로 구성된 대체 모델을 통한 약간의 상위-K 쿼리 처리. 실제 기계학습 파이프라인에서 최대 16배의 엔드 투 엔드 성능 향상을 달성하면서도 통계적으로 유의미한 정확도 손실가 없으며, 코드 생성을 위한 표준 컴파일러 최적화도 적용한다.

ABSTRACT

Systems for ML inference are widely deployed today, but they typically optimize ML inference workloads using techniques designed for conventional data serving workloads and miss critical opportunities to leverage the statistical nature of ML. In this paper, we present Willump, an optimizer for ML inference that introduces two statistically-motivated optimizations targeting ML applications whose performance bottleneck is feature computation. First, Willump automatically cascades feature computation for classification queries: Willump classifies most data inputs using only high-value, low-cost features selected through empirical observations of ML model performance, improving query performance by up to 5x without statistically significant accuracy loss. Second, Willump accurately approximates ML top-K queries, discarding low-scoring inputs with an automatically constructed approximate model and then ranking the remainder with a more powerful model, improving query performance by up to 10x with minimal accuracy loss. Willump automatically tunes these optimizations' parameters to maximize query performance while meeting an accuracy target. Moreover, Willump complements these statistical optimizations with compiler optimizations to automatically generate fast inference code for ML applications. We show that Willump improves the end-to-end performance of real-world ML inference pipelines curated from major data science competitions by up to 16x without statistically significant loss of accuracy.

연구 동기 및 목표

• 특징 계산이 런타임을 지배하는 기계학습 추론 파이프라인에서의 성능 저하 문제를 해결하기 위해.
• 분류 및 상위-K 쿼리와 같은 기계학습 워크로드의 통계적 성격을 활용하여, 자동화되고 모델에 종속되지 않는 최적화 기법을 도입하기 위해.
• 최적화 파rameter를 자동으로 튜닝하여 정확도 손실 없이 추론 효율성을 향상시키기 위해.
• 통계 최적화를 엔드 투 엔드 컴파일러 최적화와 융합하여 효율적인 코드 생성을 지원하기 위해.
• 수동적인 특징 비용 주석 또는 모델 전용 튜닝 없이 다양한 기계학습 파이프라인에서 작동하는 일반 목적의 시스템을 제공하기 위해.

제안 방법

• Willump은 특징 중요도와 계산 비용에 대한 경험적 관찰 기반으로 비용 모델을 구축하여, 고가치이면서 저비용인 특징을 식별하여 캐스케이딩 기반 분류에 활용한다.
• 선택된 특징들에 대해 약간의 모델을 훈련시어 간단한 입력은 신속하게 분류하고, 어려운 입력은 정확도를 높이기 위해 전체 모델로 전달한다.
• 상위-K 쿼리의 경우, 자동으로 생성된 약간의 모델을 사용해 낮은 점수를 가진 입력을 조기에 걸러내고, 나머지 입력은 더 정확한 모델로 순위를 매긴다.
• 사용자가 정의한 정확도 목표를 충족시키면서 성능을 극대화할 수 있도록 캐스케이딩 및 근사화 파rameter를 자동으로 튜닝한다.
• Weld 컴파일러 스택과 통합되어 루프 융합 및 벡터화와 같은 표준 최적화를 적용하여 효율적인 코드 생성을 수행한다.
• 계산적으로 종속된 특징을 처리하고 캐스케이딩 실행의 정확성을 보장하기 위해 데이터 플로우 및 의존성 분석을 수행한다.

실험 결과

연구 질문

• RQ1 경험적 성능 관찰 기반의 자동 특징 캐스케이딩이 정확도 손실 최소화로 기계학습 추론 속도를 크게 향상시킬 수 있는가?
• RQ2 정확도 손실 없이도 상위-K 쿼리의 추론 속도를 향상시키기 위해 약간의 모델을 자동으로 구성할 수 있는가?
• RQ3 특징 비용과 모델의 불확실성과 같은 기계학습 추론의 통계적 성질을 체계적으로 활용하여 엔드 투 엔드 성능을 향상시킬 수 있는가?
• RQ4 캐스케이딩 및 상위-K 쿼리의 자동 최적화가 일반적인 모델 서빙 시스템에 비해 어느 정도 뛰어난 성능을 낼 수 있는가?
• RQ5 일관된 시스템이 수동 튜닝이나 모델 전용 가정 없이 다양한 기계학습 파이프라인에서 성능과 정확도를 자동으로 균형 잡을 수 있는가?

주요 결과

• Willump은 경험적으로 선택된 고영향도·저비용 특징을 사용한 특징 캐스케이딩을 통해 분류 쿼리에서 최대 5배의 속도 향상을 달성한다.
• 전체 모델 추론 이전에 경량 모델을 사용해 점수를 근사화함으로써 상위-K 쿼리에서 최대 10배의 성능 향상을 제공한다.
• 실제 기계학습 파이프라인의 엔드 투 엔드 추론 성능을 기준 시스템 대비 최대 16배 향상시켰으며, 통계적으로 유의미한 정확도 손실가 없었다.
• Willump의 자동 파rameter 튜닝은 사용자가 지정한 정확도 제약 조건을 충족시키면서도 성능 향상을 달성함을 보장한다.
• 통계 최적화와 컴파일러 수준의 변환(예: 루프 융합)의 통합은 다양한 기계학습 워크로드에서 종합적인 성능 향상을 가능하게 한다.
• Willump는 수동적인 특징 비용 주석 또는 모델 전용 설계 없이도 모델에 종속되지 않고 특징 인식 가능한 캐스케이딩과 약간의 상위-K 쿼리를 자동으로 생성하는 최초의 시스템이다.