[논문 리뷰] A Survey on Edge Benchmarking

Blesson Varghese, Nan Wang외 5명|arXiv (Cornell University)|2020. 04. 24.

Cloud Computing and Resource Management인용 수 11

한 줄 요약

이 논문은 전통적인 밀접하게 결합된 시스템에서 현대적인 느슨하게 결합된 엣지 환경으로의 전환을 분석함으로써 엣지 벤치마킹에 대한 종합적인 서베이를 제시한다. 시스템 테스트 대상, 벤치마킹 기법, 품질 지표, 런타임을 기준으로 기존 연구를 분류하여 향후 엣지 성능 평가 및 적응형 시스템 설계를 위한 체계적인 기반을 마련한다.

ABSTRACT

Edge computing is the next Internet frontier that will leverage computing resources located near users, sensors, and data stores for delivering more responsive services. Thus, it is envisioned that a large-scale, geographically dispersed and resource-rich distributed system will emerge and become the backbone of the future Internet. However, given the loosely coupled nature of these complex systems, their operational conditions are expected to significantly change over time. In this context, the performance of these systems will need to be captured rapidly, referred to as benchmarking, for application deployment, resource orchestration, and adaptive decision-making. Edge benchmarking is a nascent research avenue that has started gaining momentum over the last five years. This article firstly examines articles published over the last three decades to trace the history of benchmarking from tightly coupled to loosely coupled systems. Then it systematically classifies research to identify the system under test, techniques analyzed, quality metrics, and benchmark runtime in edge benchmarking.

연구 동기 및 목표

• 지난 30년간의 밀착 결합된 시스템에서 느슨하게 결합된 시스템으로의 벤치마킹 패러다임의 역사를 추적하기 위해.
• 시스템 테스트 대상, 기법, 품질 지표, 벤치마킹 런타임을 기준으로 기존 엣지 벤치마킹 연구를 식별하고 분류하기 위해.
• 응용 프로그램 배포, 자원 오케스트레이션, 적응형 의사결정을 지원하기 위해 엣지 벤치마킹을 위한 체계적인 분류 체계를 수립하기 위해.
• 최근 5년간 엣지 벤치마킹 분야에서 나타나는 초기이지만 빠르게 성장하는 연구 동향을 부각하기 위해.
• 엣지 성능 평가의 핵심 차원과 열려 있는 과제를 명확히 하여 향후 연구의 기반을 마련하기 위해.

제안 방법

• 지난 30년간 발표된 학술 논문을 대상으로 체계적인 문헌 리뷰를 수행하여 벤치마킹 패러다임의 변화를 맵핑하기 위해.
• 시스템 테스트 대상, 벤치마킹 기법, 품질 지표, 벤치마킹 런타임의 네 가지 차원에 따라 엣지 벤치마킹 연구를 분류하기 위해.
• 테스트된 시스템의 유형(예: 엣지 노드, IoT 장치), 사용된 기법(예: 합성 워크로드, 실제 워크로드), 성능 지표(예: 지연 시간, 처리량)를 분석하여 엣지 벤치마킹의 추세를 분석하기 위해.
• 다양한 엣지 배포 환경에서 반복되는 벤치마킹 관행 패턴과 격차를 식별하기 위해.
• 발견된 결과를 통합하여 향후 엣지 벤치마킹 연구를 이해하고 이끌기 위한 체계적인 프레임워크를 제시하기 위해.

실험 결과

연구 질문

• RQ1 지난 30년간의 벤치마킹 패러다임은 밀착 결합된 시스템에서 느슨하게 결합된 시스템으로 어떻게 진화해 왔는가?
• RQ2 현재 엣지 벤치마킹 연구에서 주로 테스트되는 시스템의 유형은 무엇인가?
• RQ3 엣지 시스템에서 가장 흔히 사용되는 벤치마킹 기법과 품질 지표는 무엇인가?
• RQ4 다양한 엣지 벤치마킹 연구와 용도 사례에서 벤치마킹 런타임은 어떻게 변화하는가?
• RQ5 벤치마킹 분야에서 아직 해결되지 않은 주요 연구 격차와 과제는 무엇인가?

주요 결과

• 최근 5년간 엣지 벤치마킹은 반응성이 높고 분산된 엣지 서비스의 필요성에 의해 촉발되어 초기이지만 급속도로 성장하는 연구 분야로 부상했다.
• 대부분의 엣지 벤치마킹 연구는 엣지 노드와 IoT 장치를 시스템 테스트 대상으로 삼고 있어 엣지 컴퓨팅의 분산화된 특성을 반영하고 있다.
• 합성 워크로드와 실제 응용 프로그램 트레이스가 주로 사용되는 벤치마킹 기법이며, 실용적 관련성을 고려해 실제 워크로드에 대한 강조가 점점 커지고 있다.
• 지연 시간과 처리량이 가장 자주 사용되는 품질 지표이며, 이는 엣지 응용 프로그램의 저지연 요구 사항과 부합한다.
• 벤치마킹 런타임은 상당한 차이를 보이며, 일부 연구는 몇 초 내로 실행되는 반면, 워크로드 복잡도와 시스템 규모에 따라 몇 시간이 소요되는 연구도 있다.
• 현재 문헌에서 엣지 벤치마킹에 대한 명확한 분류 체계가 부족하여 표준화된 분류 및 평가 프레임워크의 필요성이 제기된다.