[논문 리뷰] Online Algorithms for Hierarchical Inference in Deep Learning applications at the Edge

Vishnu Narayanan Moothedath, Jaya Prakash Champati외 1명|arXiv (Cornell University)|2023. 04. 03.

Advanced Bandit Algorithms Research참고 문헌 37인용 수 4

한 줄 요약

이 논문은 엣지 AI에서 계층적 추론을 위한 온라인 메타학습 프레임워크를 제안한다. 엣지 디바이스는 소형 머신러닝 모델이 출력한 소프트맥스 최댓값을 사용해 현지 추론을 수락할지 또는 엣지 서버의 대형 모델로 오프로드할지 결정한다. 두 가지 알고리즘—HIL-F(완전한 피드백)와 HIL-N(현지 피드백 없음)—을 도입하여, 손실 함수의 매끄러움 조건을 요구하지 않고도 각각 $\sqrt{n\ln(1/\lambda_{\text{min}})/2}$ 및 $O(n^{2/3}\ln^{1/3}(1/\lambda_{\text{min}}))$의 하위선형 복리 경계를 달성한다.

ABSTRACT

We consider a resource-constrained Edge Device (ED), such as an IoT sensor or a microcontroller unit, embedded with a small-size ML model (S-ML) for a generic classification application and an Edge Server (ES) that hosts a large-size ML model (L-ML). Since the inference accuracy of S-ML is lower than that of the L-ML, offloading all the data samples to the ES results in high inference accuracy, but it defeats the purpose of embedding S-ML on the ED and deprives the benefits of reduced latency, bandwidth savings, and energy efficiency of doing local inference. In order to get the best out of both worlds, i.e., the benefits of doing inference on the ED and the benefits of doing inference on ES, we explore the idea of Hierarchical Inference (HI), wherein S-ML inference is only accepted when it is correct, otherwise the data sample is offloaded for L-ML inference. However, the ideal implementation of HI is infeasible as the correctness of the S-ML inference is not known to the ED. We propose an online meta-learning framework that the ED can use to predict the correctness of the S-ML inference. In particular, we propose to use the maximum softmax value output by S-ML for a data sample and decide whether to offload it or not. The resulting online learning problem turns out to be a Prediction with Expert Advice (PEA) problem with continuous expert space. We propose two different algorithms and prove sublinear regret bounds for them without any assumption on the smoothness of the loss function. We evaluate and benchmark the performance of the proposed algorithms for image classification application using four datasets, namely, Imagenette and Imagewoof, MNIST, and CIFAR-10.

연구 동기 및 목표

• 자신의 소형 머신러닝 모델 예측의 정확성을 사전에 알 수 없음에도 불구하고 자원 제약이 있는 엣지 디바이스에서 실시간 추론 결정을 내리는 데 도전하는 것.
• 효율성을 위해 현지 소형 머신러닝 모델을 활용하고 정확성을 위해 불확실한 예측을 엣지 서버의 대형 모델로 오프로드하는 계층적 추론을 가능하게 하는 것.
• 지표가 없는 상태에서 추론의 정확성을 예측하기 위해 오직 최대 소프트맥스 점수만을 사용하는 온라인 학습 프레임워크를 설계하는 것.
• 완전한 피드백 및 현지 피드백 없음 상황에서의 불확실성 하에서의 의사결정에 대해 이론적 복리 경계를 설정하는 것.

제안 방법

• 프레임워크는 소형 머신러닝 모델이 출력한 최대 소프트맥스 확률을 신뢰도 점수로 사용하여 현지 추론을 수락할지 또는 대형 모델로 오프로드할지 결정한다.
• 완전한 피드백 케이스(HIL-F)에서는 의사결정을 연속적인 전문가 공간을 가진 전문가 조언 문제로 간주하며, 신뢰도 임계값에 대해 지수 가중치를 적용한다.
• 현지 피드백 없음 케이스(HIL-N)에서는 수정된 손실 함수와 의사손실을 사용한 복리 최소화 기법을 활용하여 의사결정 과정에서 지표가 없을 경우를 처리한다.
• 이론적 분석은 온라인 볼록 최적화와 지수 가중치를 사용하여 복리 경계를 유도하며, 손실 함수의 매끄러움에 의존하지 않는다.
• 성능과 강건성을 검증하기 위해 이미넷트, 이미우드, MNIST, CIFAR-10 데이터셋을 사용한 이미지 분류 작업에서 알고리즘을 평가한다.
• 경량화되어 마이크로컨트롤러 유닛 및 기타 자원 제약이 있는 엣지 디바이스에 배포하기에 적합하도록 설계되어 있다.

Figure 1 : Schematic of the HI meta-learning framework

실험 결과

연구 질문

• RQ1 지표 레이블에 접근할 수 없음에도 엣지 디바이스가 자신의 소형 머신러닝 모델 추론의 정확성을 신뢰성 있게 예측할 수 있는가?
• RQ2 에너지 효율성과 대역폭 효율성을 유지하면서 불확실한 예측을 엣지 서버의 대형 모델로 오프로드하기 위한 최적의 전략은 무엇인가?
• RQ3 손실 함수의 매끄러움에 대한 최소한의 가정으로 연속적인 전문가 공간에 온라인 학습을 적용하여 계층적 추론에서 순차적 의사결정을 내릴 수 있는가?
• RQ4 이 계층적 추론 문제에 대해 완전한 피드백 및 현지 피드백 없음 설정에서 달성 가능한 복리 경계는 무엇인가?
• RQ5 다양한 이미지 분류 벤치마크에서 기준 전략 대비 제안된 프레임워크의 정확도, 지연 시간, 에너지 효율성은 어떻게 비교되는가?

주요 결과

• HIL-F 알고리즘은 완전한 피드백 설정에서 손실 함수의 매끄러움에 영향을 받지 않는 $\sqrt{n\ln(1/\lambda_{\text{min}})/2}$의 복리 경계를 달성한다.
• HIL-N 알고리즘은 지표 피드백이 없는 설정에서 $O(n^{2/3}\ln^{1/3}(1/\lambda_{\text{min}}))$의 복리 경계를 달성하여 지표 피드백이 없음에도 불구하고 강건성을 입증한다.
• 복리 경계는 손실 함수의 매끄러움을 가정하지 않고 도출되었으며, 이는 프레임워크가 다양한 실세계 엣지 추론 시나리오에 적용 가능함을 의미한다.
• 프레임워크는 낮은 계산 오버헤드를 유지하여 마이크로컨트롤러 유닛 및 기타 자원 제약이 있는 엣지 디바이스에 배포하기에 적합하다.
• 네 가지 데이터셋에서의 실증 평가 결과, 제안된 알고리즘은 불필요한 오프로드를 최소화하여 정확도, 지연 시간, 에너지 효율성을 효과적으로 균형 잡는다.
• 이론적 분석은 대형 모델이 완벽하지 않을 경우에도 복리가 유한하게 유지됨을 확인하며, 오프로드 비용과 신뢰도 임계값의 변동성에 따라 적절히 스케일링됨을 보여준다.

Figure 2 : Classification of Imagenette by a small-size quantized MobileNet using width multiplier $0.25$ [ 7 ] .