[논문 리뷰] Edge AIBench: Towards Comprehensive End-to-end Edge Computing Benchmarking

Tianshu Hao, Yunyou Huang외 9명|arXiv (Cornell University)|2019. 08. 06.

IoT and Edge/Fog Computing참고 문헌 12인용 수 6

한 줄 요약

Edge AIBench는 클라이언트 디바이스, 엣지 컴퓨팅, 클라우드의 세 층을 아우르는 종합적이고 엔드 투 엔드의 벤치마크 세트로, ICU 환자 모니터링, 감시, 스마트 홈, 자율 주행 차량의 네 가지 실세계 시나리오를 대상으로 엣지 AI 워크로드를 평가한다. 개인정보 보호 및 보안 문제를 해결하기 위해 연합 학습 기반의 테스트베드를 통합하여 이질적이고 데이터 집약적인 엣지 환경에서의 시스템 평가 및 최적화를 위한 표준화된 프레임워크를 제공한다.

ABSTRACT

In edge computing scenarios, the distribution of data and collaboration of workloads on different layers are serious concerns for performance, privacy, and security issues. So for edge computing benchmarking, we must take an end-to-end view, considering all three layers: client-side devices, edge computing layer, and cloud servers. Unfortunately, the previous work ignores this most important point. This paper presents the BenchCouncil's coordinated e ort on edge AI benchmarks, named Edge AIBench. In total, Edge AIBench models four typical application scenarios: ICU Patient Monitor, Surveillance Camera, Smart Home, and Autonomous Vehicle with the focus on data distribution and workload collaboration on three layers. Edge AIBench is a part of the open-source AIBench project, publicly available from http://www.benchcouncil.org/AIBench/index.html. We also build an edge computing testbed with a federated learning framework to resolve performance, privacy, and security issues.

연구 동기 및 목표

• 클라이언트 디바이스, 엣지 컴퓨팅, 클라우드 서버의 세 층을 모두 아우르는 종합적이고 엔드 투 엔드의 엣지 AI 벤치마크 부족 문제를 해결한다.
• ICU 모니터링, 감시, 스마트 홈, 자율 주행 차량의 네 가지 대표적 응용 시나리오를 통해 엣지 AI 워크로드의 실제 복잡성을 모델링한다.
• 공개된 테스트베드에 연합 학습 프레임워크를 통합하여 엣지 AI의 개인정보 및 보안 도전 과제를 극복한다.
• 다양한 환경에서 성능 평가, 시스템 최적화, 플랫폼 간 비교를 가능하게 하는 표준화된 오픈소스 벤치마크 세트를 제공한다.

제안 방법

• 실세계 엣지 AI 워크로드를 반영하는 네 가지 엔드 투 엔드 애플리케이션 벤치마크를 설계한다: ICU 환자 모니터링, 감시 카메라, 스마트 홈, 자율 주행 차량 시나리오.
• 각 벤치마크를 완전한 파이프라인으로 구성한다: 클라이언트 디바이스에서의 데이터 생성, 엣지 계층에서의 추론, 클라우드에서의 모델 훈련.
• 기존 모델을 사용하여 구성 요소 벤치마크를 구현한다: 음성 인식에 DeepSpeech2, 얼굴 인식에 FaceNet, 자율 주행 차량의 도로 표지판 인식에 사용.
• 현지 모델을 엣지 디바이스(예: 병원)에서 훈련하고, 매개변수를 암호화하여 클라우드로 전송하며, 글로벌 모델 업데이트를 계산하고 재배포하는 연합 학습 기반의 테스트베드를 개발한다.
• 가상 환자 데이터 등의 가상 데이터 생성기를 사용하여 테스트베드에서 현실적이고 개인정보 보호가 보장된 데이터 수집을 시뮬레이션한다.
• 벤치마크 세트를 오픈소스 AIBench 프로젝트에 통합하고, 테스트베드를 공개적으로 http://www.benchcouncil.org/testbed.html 에 배포한다.

실험 결과

연구 질문

• RQ1 원시 데이터를 공유하지 않으면서도 클라이언트 측 데이터 생성에서 클라우드 기반 훈련에 이르는 전체 스택을 통해 엣지 AI 워크로드를 효과적으로 벤치마킹할 수 있는 방법은 무엇인가?
• RQ2 스마트 홈 및 자율 주행 차량과 같은 실세계 엣지 AI 응용 분야에서 성능, 지연 시간, 데이터 분포의 주요 과제는 무엇인가?
• RQ3 연합 학습이 엣지 AI 벤치마킹 및 시스템 평가에서 개인정보 및 보안 위험을 어느 정도 완화할 수 있는가?
• RQ4 표준화된 오픈소스 벤치마크 세트는 이질적인 엣지 AI 환경에서의 시스템 설계, 최적화, 플랫폼 간 비교를 어떻게 향상시킬 수 있는가?

주요 결과

• Edge AIBench는 클라이언트 디바이스, 엣지 컴퓨팅 계층, 클라우드 서버를 아우르는 완전한 엔드 투 엔드 벤치마킹 프레임워크를 제공하여 기존 엣지 AI 벤치마킹 노력의 핵심 격차를 메운다.
• 벤치마크 세트는 ICU 모니터링, 감시, 스마트 홈, 자율 주행 차량의 네 가지 복잡한 실세계 시나리오를 모델링하며, 각각 고유한 데이터 분포 및 워크로드 협업 패턴을 가진다.
• 연합 학습 기반의 테스트베드는 원시 데이터를 공유하지 않으면서도 지역 모델 업데이트를 집계함으로써 개인정보 보호가 보장된 모델 훈련을 가능하게 하여 의료와 같은 민감한 분야에서 보안성을 강화한다.
• 테스트베드는 http://www.benchcouncil.org/testbed.html 에 공개되어 있어 재현 가능한 평가 및 커뮤니티 기반 개발을 지원한다.
• Edge AIBench는 오픈소스 AIBench 프로젝트에 통합되어 있으며, http://www.benchcouncil.org/AIBench/index.html 에서 접근 가능하여 투명성과 표준화를 촉진한다.
• 벤치마크에는 기존 AI 모델(예: DeepSpeech2, FaceNet)과 데이터셋(예: LibriSpeech, LFW)을 사용한 여섯 개의 구성 요소 벤치마크가 포함되어 있어 관련성과 재현 가능성을 보장한다.