[논문 리뷰] Data-Importance Aware User Scheduling for Communication-Efficient Edge Machine Learning

Dongzhu Liu, Guangxu Zhu외 2명|arXiv (Cornell University)|2019. 10. 05.

Advanced MIMO Systems Optimization참고 문헌 43인용 수 5

한 줄 요약

이 논문은 통신 효율적인 엣지 머신러닝을 위한 데이터 중요도 인식 사용자 스케줄링 기법을 제안하며, 채널 상태와 데이터 샘플의 정보성(정보량)을 동시에 최적화하여 모델 수렴 속도를 가속화한다. 신호 대 잡음비(SNR)와 데이터 불확실성(서포트 벡터 머신(SVM)의 경우 결정 경계까지의 거리 또는 컨volution 네트워크(CNN)의 경우 엔트로피로 측정)를 조합함으로써 이중 다중 사용자 다중성을 활용하여, 실제 데이터셋에서 기존 기준 기반 기법 대비 최대 8% 높은 정확도를 달성하고 더 빠른 수렴을 이룬다.

ABSTRACT

With the prevalence of intelligent mobile applications, edge learning is emerging as a promising technology for powering fast intelligence acquisition for edge devices from distributed data generated at the network edge. One critical task of edge learning is to efficiently utilize the limited radio resource to acquire data samples for model training at an edge server. In this paper, we develop a novel user scheduling algorithm for data acquisition in edge learning, called (data) importance-aware scheduling. A key feature of this scheduling algorithm is that it takes into account the informativeness of data samples, besides communication reliability. Specifically, the scheduling decision is based on a data importance indicator (DII), elegantly incorporating two "important" metrics from communication and learning perspectives, i.e., the signal-to-noise ratio (SNR) and data uncertainty. We first derive an explicit expression for this indicator targeting the classic classifier of support vector machine (SVM), where the uncertainty of a data sample is measured by its distance to the decision boundary. Then, the result is extended to convolutional neural networks (CNN) by replacing the distance based uncertainty measure with the entropy. As demonstrated via experiments using real datasets, the proposed importance-aware scheduling can exploit the two-fold multi-user diversity, namely the diversity in both the multiuser channels and the distributed data samples. This leads to faster model convergence than the conventional scheduling schemes that exploit only a single type of diversity.

연구 동기 및 목표

• 분산 장치에서의 고차원 데이터 업로드로 인한 엣지 학습의 통신 병목 현상을 해결하기 위해.
• 채널 품질과 데이터 샘플의 정보성에 기반한 사용자 스케줄링을 공동 최적화하여 학습 효율을 향상시키기 위해.
• 무선 채널과 분산된 데이터 샘플에 대한 이중 다중 사용자 다중성을 활용하여 더 빠른 모델 수렴을 달성하기 위해.
• 중앙집중식 및 피어드 엣지 학습 시스템에 모두 적용 가능한 확장 가능한 스케줄링 프레임워크를 개발하기 위해.

제안 방법

• 통신 신뢰성(SNR)과 학습 관련성(데이터 불확실성)을 조합한 데이터 중요도 지표(DII)를 도입한다.
• SVM의 경우, 불확실성은 데이터 샘플이 결정 경계로부터 유클리드 거리로 측정된다.
• CNN의 경우, 효율적인 계산을 위해 예측 엔트로피를 사용해 불확실성을 근사한다.
• 스케줄링 결정은 높은 DII 값을 가진 사용자를 우선순위로 정렬함으로써 채널 품질과 데이터 중요성을 균형 있게 고려한다.
• 특히 CNN의 경우 계산 오버헤드를 줄이기 위해 중요도 평가를 위한 압축 모델을 활용한다.
• 라벨 정보 처리를 위한 프레임워크 확장과 다양한 압축 비율 하에서의 성능 평가를 수행한다.

실험 결과

연구 질문

• RQ1 채널 상태와 데이터 샘플의 정보성에 대한 공동 최적화가 엣지 머신러닝에서 학습 수렴 속도를 향상시킬 수 있는가?
• RQ2 결정 경계까지의 거리 또는 예측 엔트로피로 측정된 데이터 불확실성이 스케줄링 성능에 미치는 영향은 어떠한가?
• RQ3 중요도 평가를 위한 모델 압축이 학습 정확도를 훼손하지 않으면서 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 기존의 채널 인지 또는 데이터 인지 스케줄링과 비교해 본다면, 제안된 기법은 수렴 속도와 최종 정확도 측면에서 어떤가?
• RQ5 라벨 정보를 통합함으로써 중요도 인지 스케줄링의 성능이 추가로 향상되는가?

주요 결과

• 제안된 중요도 인지 스케줄링은 채널과 데이터의 다양성을 동시에 활용하여 더 빠른 모델 수렴을 달성하며, 기존 기준 기반 기법을 능가한다.
• 라벨 정보를 포함한 경우, 채널 인지 스케줄링 대비 5% 향상된 정확도를 기록했고, 데이터 인지 스케줄링 대비 8% 향상된 정확도를 달성했다.
• SVM의 경우, 파rameter 수가 1/10인 압축 평가 모델을 사용해도 거의 최적 성능에 도달하지만, 모델 정확도가 높아질수록 정확도 손실이 증가한다.
• CNN의 경우, 파라미터 수가 1/5인 압축 모델이 압축되지 않은 버전과 유사한 성능을 보이며, 1/20 압축 비율일 경우 손실이 50% 이내로 유지된다.
• 딥 러닝 모델의 높은 冗餘성과 강건성 덕분에 CNN에서는 SVM보다 성능 향상이 더 두드러진다.
• 제한된 전송 예산 조건에서도 성능 향상이 유지되어 강력한 확장성과 효율성을 입증했다.