[논문 리뷰] ML-EXray: Visibility into ML Deployment on the Edge

Hang Qiu, Ioanna Vavelidou외 6명|arXiv (Cornell University)|2021. 11. 08.

Advanced Neural Network Applications참고 문헌 32인용 수 4

한 줄 요약

ML-EXray는 모델 실행을 인스트루멘테이션하고 참조 파이프라인을 통해 입력을 재생하는 방식으로 엣지 디바이스에서의 머신러닝 추론에 계층 수준의 가시성을 제공하는 클라우드-엣지 배포 검증 프레임워크입니다. 출력 및 지연 시간을 비교함으로써 프리프로세싱 버그, 양자화 오류, 비효율적 커널과 같은 문제를 15줄 이내의 코드로 탐지하고 디버깅할 수 있으며, 모델 정확도를 최대 30% 향상시키고 커널 지연 시간을 두 계급 정도 감소시킵니다.

ABSTRACT

Benefiting from expanding cloud infrastructure, deep neural networks (DNNs) today have increasingly high performance when trained in the cloud. Researchers spend months of effort competing for an extra few percentage points of model accuracy. However, when these models are actually deployed on edge devices in practice, very often, the performance can abruptly drop over 10% without obvious reasons. The key challenge is that there is not much visibility into ML inference execution on edge devices, and very little awareness of potential issues during the edge deployment process. We present ML-EXray, an end-to-end framework, which provides visibility into layer-level details of the ML execution, and helps developers analyze and debug cloud-to-edge deployment issues. More often than not, the reason for sub-optimal edge performance does not only lie in the model itself, but every operation throughout the data flow and the deployment process. Evaluations show that ML-EXray can effectively catch deployment issues, such as pre-processing bugs, quantization issues, suboptimal kernels, etc. Using ML-EXray, users need to write less than 15 lines of code to fully examine the edge deployment pipeline. Eradicating these issues, ML-EXray can correct model performance by up to 30%, pinpoint error-prone layers, and guide users to optimize kernel execution latency by two orders of magnitude. Code and APIs will be released as an open-source multi-lingual instrumentation library and a Python deployment validation library.

연구 동기 및 목표

• 클라우드-엣지 머신러닝 배포 과정에서 성능 저하가 10% 이상 발생하나 명확한 원인이 밝혀지지 않는 심각한 가시성 격차를 해소합니다.
• 클라우드 기반 모델 훈련과 엣지 배포 간의 괴리를 해소하여 개발자가 전체 추론 파이프라인에 걸쳐 문제를 추적하고 디버깅할 수 있도록 합니다.
• 다양한 엣지 하드웨어에서 잘못된 프리프로세싱, 양자화 오류, 비효율적 커널 실행과 같은 문제를 체계적이고 인스트루멘테이션된 방식으로 탐지하고 진단할 수 있는 접근법을 제공합니다.
• 실제 및 참조 모델 실행 간의 계층별 비교를 자동화하여 디버깅 시간을 주에서 수분으로 단축시킵니다.
• 최소한의 코드 오버헤드와 낮은 런타임 성능 영향을 감안해 개발자가 엣지 ML 애플리케이션을 검증하고 최적화할 수 있도록 합니다.

제안 방법

• 엔드포인트 디바이스에서 중간 계층 출력과 실행 메타데이터를 로깅하기 위해 다국어 API 세트를 사용해 머신러닝 추론 파이프라인을 인스트루멘테이션합니다.
• 기본 참조 파이프라인(예: 알려진 정확한 구현)을 통해 동일한 입력 데이터를 재생하여 비교를 위한 기준 출력을 생성합니다.
• 실제 실행과 참조 실행 간의 계층별 출력 및 실행 지연 시간을 비교하여 이질성과 성능 저하를 탐지합니다.
• 특정 작업이나 계층 주변에 사용자 정의 애셋션 및 로깅 훅을 정의할 수 있도록 하여 행동 검증과 이상 탐지에 활용합니다.
• 기존 머신러닝 프레임워크(예: TensorFlow Lite, PyTorch Mobile)와 통합하고, 모바일 CPU, GPU, NPU를 포함한 이종 엣지 하드웨어를 지원합니다.
• 최적화된 대비 참조 연산자 해상결정기(Resolver)를 활용해 비효율적 커널 선택으로 인한 성능 병목 현상을 식별합니다.

실험 결과

연구 질문

• RQ1 엣지 디바이스에 배포했을 때 설명되지 않은 성능 저하가 발생하는 주요 원인은 무엇인가요?
• RQ2 개발자가 엣지 추론 중 중간 계층 출력과 실행 행동을 어떻게 가시화하여 숨겨진 버그를 탐지할 수 있나요?
• RQ3 참조 파이프라인과의 자동 비교가 프리프로세싱, 양자화, 커널 실행 문제를 어느 정도 효과적으로 식별할 수 있나요?
• RQ4 ML-EXray는 기존에 알려지지 않은 문제, 예를 들어 고장난 양자화 연산자나 비효율적 커널 구현을 탐지하는 데 얼마나 효과적인가요?
• RQ5 ML-EXray의 런타임 오버헤드는 얼마이며, 다양한 하드웨어 플랫폼과 모델 유형에서 어떻게 스케일링되나요?

주요 결과

• ML-EXray는 향후 수정 중인 개발 팀에 의해 보고된 바 있는 텐서플로우에서의 고장난 양자화 연산자와 같은 이전에 알려지지 않은 문제를 탐지했습니다.
• MobileNetv2의 평균 풀링 계층과 같은 오류를 일으키기 쉬운 계층을 식별했으며, 모델 버전 간에 심각한 출력 이질성이 나타났습니다.
• 비효율적 커널 선택으로 인해 최대 200배의 지연 시간 증가가 발생했으며, 예를 들어 모바일 디바이스에서 기준 연산자 해상결정기는 최적화된 버전보다 3계급 정도 느렸습니다.
• 모바일 기기에서는 양자화된 딥웨이브 컨볼루션 연산이 표준 컨볼루션보다 빠르지만, 최적화되지 않은 구현은 심각한 성능 저하를 야기했습니다.
• ML-EXray는 비효율적 운영을 식별하고 최적화를 안내함으로써 커널 실행 지연 시간을 최대 두 계급 정도 감소시켰습니다.
• 입력 정규화 불일치 및 프리프로세싱 버그와 같은 디버깅 문제를 수정한 후, ML-EXray는 모델 정확도를 최대 30% 향상시켰습니다.