[논문 리뷰] Offloading Algorithms for Maximizing Inference Accuracy on Edge Device Under a Time Constraint

Andrea Fresa, Jaya Prakash Champati|arXiv (Cornell University)|2021. 12. 21.

IoT and Edge/Fog Computing인용 수 4

한 줄 요약

이 논문은 시간 제약 조건 T 하에서 정확도를 최대화하기 위해 엣지 디바이스(ED)와 엣지 서버(ES) 간에 머신 러닝 추론 작업을 오프로딩하기 위한 근사 알고리즘인 AMR²을 제안한다. 선형계획법(LP) 근사와 반올림 기법을 활용하여 AMR²는 마이크로스케일(makespan) ≤ 2T를 보장하고, 실험적으로 라즈베리 파이에서 MobileNet 및 ResNet 모델을 사용한 결과, 탐욕 기반 기준 대비 평균 40% 향상된 근사 최적의 정확도를 달성한다.

ABSTRACT

With the emergence of edge computing, the problem of offloading jobs between an Edge Device (ED) and an Edge Server (ES) received significant attention in the past. Motivated by the fact that an increasing number of applications are using Machine Learning (ML) inference, we study the problem of offloading inference jobs by considering the following novel aspects: 1) in contrast to a typical computational job, the processing time of an inference job depends on the size of the ML model, and 2) recently proposed Deep Neural Networks (DNNs) for resource-constrained devices provide the choice of scaling the model size. We formulate an assignment problem with the aim of maximizing the total inference accuracy of n data samples available at the ED, subject to a time constraint T on the makespan. We propose an approximation algorithm AMR2, and prove that it results in a makespan at most 2T, and achieves a total accuracy that is lower by a small constant from optimal total accuracy. As proof of concept, we implemented AMR2 on a Raspberry Pi, equipped with MobileNet, and is connected to a server equipped with ResNet, and studied the total accuracy and makespan performance of AMR2 for image classification application.

연구 동기 및 목표

• 엣지 디바이스와 엣지 서버 간의 머신러닝 추론 작업 오프로딩 문제를 정확도와 실행 시간의 균형을 맞추어 해결하고자 한다.
• 엣지 컴퓨팅 환경에서 모델 크기(처리 시간과 정확도에 영향을 미침)와 통신 오버헤드 간의 트레이드오프를 모델링하고자 한다.
• 마이크로스케일 제약 조건 T 하에서 총 추론 정확도를 최대화하는 새로운 일반화된 할당 문제를 수립하고자 한다.
• 이종적이고 크기 조정 가능한 머신러닝 모델을 갖춘 엣지 디바이스에서 제한된 마이크로스케일과 근사 최적의 정확도를 확보하는 효율적인 근사 알고리즘(AMR²)을 설계하고자 한다.
• 모든 데이터 샘플이 동일할 경우 최적의 동적 프로그래밍 솔루션(AMDP)을 제공하고자 한다.

제안 방법

• 시간 제약 조건 T 하에서 총 추론 정확도를 최대화하기 위해 오프로딩 문제를 정수선형계획문제(ILP)로 수식화한다.
• ILP에 대해 LP 근사를 적용하여 분수 해를 확보한 후, 이를 엣지 디바이스 또는 엣지 서버에 작업을 할당하기 위해 반올림 절차를 적용한다.
• 두 단계 반올림 전략을 사용한다: 먼저 분수 해를 가진 작업들을 엣지 서버에 할당하고, 이후 발생할 수 있는 마이크로스케일 위반 사항을 탐욕적 재할당 단계를 통해 수정한다.
• AMR²가 최대 2T의 마이크로스케일을 보장하고 최적 해 대비 총 정확도 손실이 최대 2 이내임을 증명한다.
• 동일한 작업이 존재할 경우, 최적 스케줄을 계산하는 다항식 시간 동적 프로그래밍 알고리즘인 AMDP를 제안한다.
• 실제 이미지 분류 워크로드에서 측정한 처리 및 통신 시간을 기반으로, 라즈베리 파이에서 AMR²의 실증적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 엣지 디바이스에서 정확도와 처리 시간이 상이한 여러 크기의 모델을 갖는 경우, 엄격한 시간 제약 조건 하에서 추론 정확도를 어떻게 최대화할 수 있는가?
• RQ2 변동하는 모델 크기와 통신 지연을 고려한 추론 작업 오프로딩을 위한 근사 알고리즘의 이론적 성능 한계는 무엇인가?
• RQ3 실세계 엣지 환경에서 제안된 AMR² 알고리즘이 탐욕 기반 기준 대비 정확도와 마이크로스케일 측면에서 어떻게 성능을 발휘하는가?
• RQ4 LP 근사 기반 접근법이 반올림에 의한 편차가 발생하더라도, 어떤 조건에서 근사 최적의 정확도를 달성할 수 있는가?
• RQ5 모든 데이터 샘플이 동일할 경우 최적의 해를 효율적으로 계산할 수 있으며, 그러한 해의 시간 복잡도는 얼마인가?

주요 결과

• AMR²는 최대 2T의 마이크로스케일을 보장하여 느슨한 시간 제약 조건 내에서 실행 가능함을 보장한다.
• AMR²의 총 추론 정확도는 최적 해 대비 최대 2 이내의 손실을 보이며, 일반적인 경우 손실 범위는 가장 큰 모델과 가장 작은 모델 간의 정확도 차이(a_{m+1} - a_1)로 제한된다.
• 라즈베리 파이에서 실시한 실세계 실험에서, AMR²는 Greedy-RRA 기준 대비 평균 40% 높은 총 추론 정확도를 달성했다.
• T = 0.5초일 경우, AMR²는 Greedy-RRA 대비 20–60%의 정확도 향상을 보였으며, 시간 제약이 작을수록 오프로딩 기회가 제한되어 성능 향상 폭이 낮아졌다.
• T = 4초일 경우, AMR²는 Greedy-RRA 대비 40–50% 높은 정확도를 달성하여 더 큰 시간 예산 하에서도 확장성을 입증했다.
• 라즈베리 파이에서 측정한 실시간 마이크로스케일이 추정된 마이크로스케일과 밀도적으로 일치하여, 알고리즘에서 사용된 시간 모델의 정확성을 확인했다.