[논문 리뷰] AppealNet: An Efficient and Highly-Accurate Edge/Cloud Collaborative Architecture for DNN Inference

Min Li, Yu Li외 3명|arXiv (Cornell University)|2021. 05. 10.

Advanced Neural Network Applications참고 문헌 26인용 수 5

한 줄 요약

AppealNet는 경량 DNN(작은 네트워크)를 위한 근사화와 신뢰할 수 있는 입력 분류를 위한 예측 헤드를 공동 최적화하는 이중 헤드 신경망 아키텍처를 제안한다. 이는 정확하고 효율적인 엣지-클라우드 협업을 가능하게 한다. 새로운 손실 함수를 사용해 두 헤드를 함께 훈련함으로써, 최신 기술 대비 최대 80%의 에너지 절감을 달성하면서도 거의 이상적인 정확도를 유지하며, 특히 얼굴 키포인트 검출과 같은 분류 및 회귀 작업에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper presents AppealNet, a novel edge/cloud collaborative architecture that runs deep learning (DL) tasks more efficiently than state-of-the-art solutions. For a given input, AppealNet accurately predicts on-the-fly whether it can be successfully processed by the DL model deployed on the resource-constrained edge device, and if not, appeals to the more powerful DL model deployed at the cloud. This is achieved by employing a two-head neural network architecture that explicitly takes inference difficulty into consideration and optimizes the tradeoff between accuracy and computation/communication cost of the edge/cloud collaborative architecture. Experimental results on several image classification datasets show up to more than 40% energy savings compared to existing techniques without sacrificing accuracy.

연구 동기 및 목표

• 기존의 Big/Little 신경망 시스템이 입력 라우팅을 위해 정확하지 않은 신뢰도 점수에 의존하는 비효율성 문제를 해결하기 위해.
• DNN 추론에서 쉬운 입력과 어려운 입력을 신뢰할 수 있고 이론적으로 탄탄한 방법으로 구분하기 위한 방법을 개발하기 위해.
• 정확도를 희생시키지 않고 엣지-클라우드 AI 시스템에서 상당한 에너지 절감을 실현하기 위해.
• 분류를 넘어서 얼굴 키포인트 검출과 같은 회귀 작업으로 Big/Little 시스템의 적용 범위를 확장하기 위해.

제안 방법

• 근사자 설계와 예측자 설계를 통합한 공동 최적화 문제로 Big/Little 네트워크 설계를 재정의한다.
• 작은 네트워크가 예측과 청원 확률을 동시에 출력하는 이중 헤드 아키텍처를 도입한다.
• 근사화 및 청원 예측 작업을 끝에서 끝까지 최적화할 수 있도록 새로운 훈련 손실 함수를 설계한다.
• 분류 정확도와 신뢰할 수 있는 청원 임계값 설정을 균형 있게 유지하는 병합 손실을 사용해 작은 네트워크를 훈련시킨다.
• 분류와 회귀 작업 모두에 프레임워크를 적용하며, 회귀에는 L2 손실, 분류에는 교차 엔트로피 손실을 사용한다.
• 임계값 기반 라우팅 메커니즘을 적용한다: 청원 확률이 δ(예: 0.5)를 초과하면 큰 네트워크로 라우팅하고, 그렇지 않으면 작은 네트워크를 사용한다.

Figure 1: Prediction-based B/L system design.

실험 결과

연구 질문

• RQ1 신뢰도 기반 히وري스틱과 비교해, 공동 최적화 프레임워크가 Big/Little 신경망 시스템의 입력 구분 신뢰성 향상에 기여할 수 있는가?
• RQ2 경량 DNN 내 이중 헤드 아키텍처가 엣지-클라우드 추론을 위한 정확하고 효율적인 라우팅 결정을 어떻게 가능하게 하는가?
• RQ3 AppealNet은 다양한 DNN 모델과 데이터셋에서 높은 정확도를 유지하면서 에너지 소비를 얼마나 줄일 수 있는가?
• RQ4 제안된 방법은 얼굴 키포인트 검출과 같은 회귀 작업으로 효과적으로 확장될 수 있는가?
• RQ5 실제 운영 환경에서 스킵률과 정확도 저하 사이의 상호 교환 관계는 어떠한가?

주요 결과

• AppealNet는 최신 기술 대비 최대 80%의 에너지 절감을 달성하며, 뚜렷한 효율성 향상을 입증한다.
• CIFAR-100과 Tiny-ImageNet에서 AppealNet는 5.0%의 정확도 저하 수준에서 99.93%의 스킵 레이트를 유지하면서 거의 이상적인 정확도를 확보한다.
• 얼굴 키포인트 검출 작업에서는 원본 모델과 동일한 RMSE 2.47과 정확도 94.93%를 유지하며, 성능 저하가 거의 없다.
• 1.0%의 정확도 저하 수준에서 AppealNet는 얼굴 키포인트 검출에서 75.50%의 스킵 레이트를 달성하여 실사용 환경에서의 높은 효율성을 입증한다.
• 이 방법은 분류 및 회귀 작업 모두에서 효과적이며, 히وري스틱 기반의 신뢰도 점수에 의존하지 않아 일반화 가능성은 물론 신뢰성까지 입증한다.
• 이론적 분석을 통해 공동 최적화 프레임워크가 소프트맥스 기반의 신뢰도 측정 방식의 한계를 극복하고, 신뢰할 수 있는 예측 신뢰도를 보장함을 확인한다.

Figure 2: Two-head architecture for the little network in AppealNet.