[논문 리뷰] Active Learning Solution on Distributed Edge Computing

Jia Qian, Sayantan Sengupta외 1명|arXiv (Cornell University)|2019. 06. 25.

IoT and Edge/Fog Computing참고 문헌 25인용 수 10

한 줄 요약

이 논문은 산업 4.0의 분산 엣지 컴퓨팅을 위한 새로운 활성 학습 및 피어드 학습 프레임워크를 제안한다. 엣지 디바이스는 몬테카를로 드롭아웃 베이지안 신경망을 사용하여 정보가 풍부한 샘플을 선택함으로써 레이블링 비용과 통신 오버헤드를 줄이며, 퍼그 노드는 피어드 학습을 통해 모델을 집계한다. 이 방법은 중앙집중식 학습과 유사한 정확도를 달성하면서도 데이터 전송을 크게 줄이고 프라이버시를 향상시킨다. 특히 계단식 모델 공유를 통한 대규모 디바이스 배포 환경에서 유리하다.

ABSTRACT

Industry 4.0 becomes possible through the convergence between Operational and Information Technologies. All the requirements to realize the convergence is integrated on the Fog Platform. Fog Platform is introduced between the cloud server and edge devices when the unprecedented generation of data causes the burden of the cloud server, leading the ineligible latency. In this new paradigm, we divide the computation tasks and push it down to edge devices. Furthermore, local computing (at edge side) may improve privacy and trust. To address these problems, we present a new method, in which we decompose the data aggregation and processing, by dividing them between edge devices and fog nodes intelligently. We apply active learning on edge devices; and federated learning on the fog node which significantly reduces the data samples to train the model as well as the communication cost. To show the effectiveness of the proposed method, we implemented and evaluated its performance for an image classification task. In addition, we consider two settings: massively distributed and non-massively distributed and offer the corresponding solutions.

연구 동기 및 목표

• 산업 4.0의 클라우드 중심 기계 학습에서 높은 통신 오버헤드와 지연을 해결하기 위해.
• 분산 엣지 환경에서 레이블링 비용을 줄이고 데이터 효율성을 향상시키기 위해.
• 데이터를 엣지 디바이스에서 로컬로 유지함으로써 사용자 프라이버시를 보존하기 위해.
• 개별 디바이스가 제한된 데이터를 가진 대규모 엣지 디바이스 배포 환경에서 모델 성능을 향상시키기 위해.
• 확장 가능하고 프라이버시를 보존하는 AI를 위한 피어드 컴퓨팅 아키텍처에서 활성 학습과 피어드 학습을 통합하기 위해.

제안 방법

• 엣지 디바이스에서 몬테카를로 드롭아웃 베이지안 신경망을 적용하여 모델 불확실성을 추정하고 활성 학습의 샘플 선택을 안내한다.
• 퍼그 노드에서 피어드 학습을 사용하여 원시 데이터를 전송하지 않고도 엣지 디바이스의 국지적 모델을 집계한다.
• 계산을 분해하여 엣지 디바이스에서 국지적 모델을 훈련하고 퍼그 노드에서 집계함으로써 통신 부담을 줄인다.
• 두 가지 구성 방식을 구현한다: 비질적 분산(디바이스 간 통신 없음) 및 질적 분산(이웃 디바이스 모델 공유를 통한 계단식 훈련).
• 앙상블 기반의 모델 불확실성 추정을 사용하여 불확실성이 높은 샘플을 우선적으로 레이블링한다.
• 초기 모델을 퍼그 노드에서 전체 데이터 또는 피어드 집계를 사용하여 훈련하여 활성 학습의 효과적인 불확실성 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 활성 학습이 분산 엣지-퍼그 아키텍처에 효과적으로 적용되어 레이블링 비용을 최소화할 수 있는가?
• RQ2 몬테카를로 드롭아웃을 통한 모델 불확실성 추정이 엣지 디바이스의 샘플 선택 효율성에 어떤 영향을 미치는가?
• RQ3 엣지 디바이스가 제한된 데이터를 가진 경우 피어드 학습의 성능이 중앙집중식 학습과 어떻게 비교되는가?
• RQ4 개별 디바이스가 매우 적은 샘플을 가진 대규모 엣지 배포 환경에서 발생하는 트레이드오프는 무엇인가?
• RQ5 이웃 엣지 디바이스 간의 계단식 모델 공유가 훈련 지연 증가를 감수하면서 정확도를 향상시킬 수 있는가?

주요 결과

• 비질적 설정(예: 4개의 디바이스)에서 최적의 집계를 사용한 피어드 학습은 총 400개의 훈련 샘플로 96.3%의 정확도를 달성했으며, 비-FL 기준선(1600개 샘플로 90.1%)을 능가했다.
• 각각 60장의 이미지로 훈련하는 20개의 디바이스(총 1200개)에서, 피어드 학습을 사용한 중앙집중식 퍼그 노드는 단지 400개의 유효 훈련 샘플로 91.8%의 정확도를 기록했으며, 통신이 없는 설정에서는 75%의 정확도를 기록했다.
• 두 개와 네 개의 엣지 디바이스 간에 계단식 훈련을 수행함으로써 정확도는 각각 87%와 90%로 향상되었으며, 훈련 시간은 각각 2배와 4배 증가했다.
• 피어드 학습에서 최적의 모델 집계 전략은 단순 평균화보다 뛰어나 40개의 샘플 획득 설정에서 총 400개 샘플로 96.3%의 정확도를 달성했다.
• 중앙집중식 학습(1200개 샘플로 89% 정확도)과 분산된 피어드 학습(통신 없음 시 75% 정확도) 간의 성능 격차는 대규모 배포 환경에서의 디바이스 간 협업의 필요성을 드러낸다.
• 활성 학습에서 윈도우 크기는 성능에 큰 영향을 미친다: 너무 작으면 불확실성 추정이 열악해지고, 너무 크면 활성 샘플링의 이점이 감소한다.