[논문 리뷰] ESAI: Efficient Split Artificial Intelligence via Early Exiting Using Neural Architecture Search

Behnam Zeinali, Di Zhuang외 1명|arXiv (Cornell University)|2021. 06. 21.

Advanced Neural Network Applications참고 문헌 55인용 수 6

한 줄 요약

이 논문은 신경망 구조 탐색(NAS)과 지식 증류, 다중 출구 조기 종료를 결합한 분할형 인공지능 프레임워크인 ESAI를 제안한다. 이는 데이터를 현장에서 분류할지 또는 클라우드로 오프로드할지 동적으로 결정한다. 분류 신뢰도에 기반한 조기 종료와 경량 클라이언트 모델 최적화를 통해 ESAI는 통신 비용을 줄이며, 테스트 데이터의 40%만 서버로 전송한다. 전체 정확도는 92%를 기록하며, 독립형 클라이언트 또는 서버 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Recently, deep neural networks have been outperforming conventional machine learning algorithms in many computer vision-related tasks. However, it is not computationally acceptable to implement these models on mobile and IoT devices and the majority of devices are harnessing the cloud computing methodology in which outstanding deep learning models are responsible for analyzing the data on the server. This can bring the communication cost for the devices and make the whole system useless in those times where the communication is not available. In this paper, a new framework for deploying on IoT devices has been proposed which can take advantage of both the cloud and the on-device models by extracting the meta-information from each sample's classification result and evaluating the classification's performance for the necessity of sending the sample to the server. Experimental results show that only 40 percent of the test data should be sent to the server using this technique and the overall accuracy of the framework is 92 percent which improves the accuracy of both client and server models.

연구 동기 및 목표

• 자원이 제한된 IoT 및 모바일 디바이스에 정확한 딥 러닝 모델을 구현하는 데 도전하는 문제를 해결하기 위해.
• 불확실하거나 복잡한 샘플만 클라우드로 스마트하게 오프로드하여 모바일 AI 시스템의 통신 오버헤드와 에너지 소비를 줄이기 위해.
• 지식 증류와 신경망 구조 탐색을 결합하여 경량 클라이언트 모델의 정확도와 효율성을 향상시키기 위해.
• 예측 신뢰도가 높을 경우 조기 분류가 가능한 다중 출구 딥 네트워크를 통해 민첩하고 유연한 추론을 가능하게 하기 위해.
• 네트워크 연결이 불안정하거나 중단되어도 높은 성능을 유지할 수 있는 시스템을 설계하기 위해.

제안 방법

• 클라이언트-서버 분할 DNN 아키텍처를 사용하며, 클라이언트는 다중 조기 종료 헤드를 갖춘 경량 NAS 최적화 모델을 실행한다.
• 신경망 구조 탐색(NAS)은 대규모 티처 모델에서 유도된 지식 증류를 통해 클라이언트용 작고 정확한 스튜던트 모델을 생성한다.
• 결정 모듈은 각 출구 지점에서 분류 신뢰도를 평가하고 현장 분류 또는 서버로 전달 여부를 결정한다.
• 조기 종료는 네트워크의 다양한 깊이에 다중 분류 헤드를 배치하여 예측 신뢰도가 임계값을 초과할 경우 조기에 추론을 종료함으로써 구현된다.
• 분류 결과의 메타 정보를 활용해 오프로드 결정을 유도함으로써 불필요한 데이터 전송을 최소화한다.
• 정확도, 에너지 효율성, 통신 비용을 균형 잡는 손실 함수를 사용해 종합적으로 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 분류 신뢰도에 기반해 동적으로 현장에서 분류할지 또는 클라우드로 오프로드할지 결정할 수 있는가?
• RQ2 지식 증류를 통한 신경망 구조 탐색이 경량 클라이언트 모델의 정확도와 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 조기 종료는 모바일 및 IoT 추론에서 계산 비용과 통신 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 네트워크 연결이 불안정하거나 중단되어도 제안된 프레임워크가 높은 정확도를 유지할 수 있는가?
• RQ5 다중 출구 DNN을 NAS와 지식 증류와 통합함으로써 정확도와 효율성의 상호 갈등을 어떻게 개선할 수 있는가?

주요 결과

• 서버로 전송되는 샘플 수가 테스트 데이터의 40%로 줄어들어 통신 비용이 크게 낮아졌다.
• 전체 시스템의 정확도는 92%를 기록하며, 독립형 클라이언트 또는 서버 모델의 성능을 초월한다.
• NAS에 지식 증류를 적용함으로써 크기가 작고 계산 부담이 낮은 경량 클라이언트 모델이지만 높은 정확도를 유지한다.
• 조기 종료 덕분에 상당수의 입력 데이터가 네트워크의 浅층에서 분류되어 에너지 소비와 추론 시간이 감소한다.
• 실제 디바이스에 성공적으로 구현되어 엣지 AI 구현의 실용성을 입증했다.
• 분류 불확실성 기반의 결정 모듈이 고정밀도 서버 처리가 필요한 샘플을 효과적으로 식별한다.