[논문 리뷰] DeFog: Fog Computing Benchmarks

Jonathan McChesney, Nan Wang외 3명|arXiv (Cornell University)|2019. 07. 25.

IoT and Edge/Fog Computing참고 문헌 32인용 수 9

한 줄 요약

DeFog는 클라우드 전용, 엣지 전용, 클라우드-엣지 배포 모드에서 여섯 가지 지연이 중요한 스트림 기반 워크로드를 사용해 퍼그 컴퓨팅 환경에서 애플리케이션 성능을 평가하는 플랫폼에 구애받지 않는 벤치마킹 세트이다. 자동화된 컨테이너 기반 배포 및 메트릭 수집을 통해 표준화되고 반복 가능한 성능 측정을 가능하게 하여, 퍼그 환경에서 최적의 서비스 배치와 성능 향상에 대한 통찰을 제공한다.

ABSTRACT

Fog computing envisions that deploying services of an application across resources in the cloud and those located at the edge of the network may improve the overall performance of the application when compared to running the application on the cloud. However, there are currently no benchmarks that can directly compare the performance of the application across the cloud-only, edge-only and cloud-edge deployment platform to obtain any insight on performance improvement. This paper proposes DeFog, a first Fog benchmarking suite to: (i) alleviate the burden of Fog benchmarking by using a standard methodology, and (ii) facilitate the understanding of the target platform by collecting a catalogue of relevant metrics for a set of benchmarks. The current portfolio of DeFog benchmarks comprises six relevant applications conducive to using the edge. Experimental studies are carried out on multiple target platforms to demonstrate the use of DeFog for collecting metrics related to application latencies (communication and computation), for understanding the impact of stress and concurrent users on application latencies, and for understanding the performance of deploying different combination of services of an application across the cloud and edge. DeFog is available for public download (https://github.com/qub-blesson/DeFog).

연구 동기 및 목표

• 클라우드, 엣지, 하이브리드 배포 환경에서 퍼그 컴퓨팅 성능을 평가하기 위한 표준화된 벤치마크 부족 문제를 해결하기 위해.
• 응용 프로그램 지연, 자원 사용률, 스트레스 및 동시 부하 하에서의 시스템 동작을 일관되고 자동화된 방법으로 측정하기 위해.
• 컨테이너 기반 워크로드와 표준 메트릭을 사용해 하드웨어에 구애받지 않는 퍼그 플랫폼 간 비교를 가능하게 하기 위해.
• 시스템 개발자와 벤더가 QoS와 QoE 향상을 위해 클라우드 및 엣지 자원 간 최적의 서비스 배포를 식별하는 데 도움이 되기 위해.
• 오픈소스 공개 및 확장성 덕분에 커뮤니티 주도의 퍼그 벤치마크 개발을 촉진하기 위해.

제안 방법

• DeFog는 클라우드 전용, 엣지 전용, 클라우드-엣지(Fog) 배포 모드를 지원하는 6단계의 벤치마킹 방법론을 사용한다.
• Docker를 사용해 애플리케이션을 컨테이너화하여 다양한 엣지 및 클라우드 노드에서 플랫폼 독립성과 일관된 환경 설정을 보장한다.
• 여섯 가지 퍼그 관련 애플리케이션을 벤치마크로 구현: 딥러닝 기반 객체 탐지, 텍스트-음성 변환, 텍스트-오디오 강제 정렬, 지리적 위치 기반 모바일 게임, IoT 게이트웨이 애플리케이션, 비디오 스트림에서의 실시간 얼굴 탐지.
• 다양한 대상 플랫폼에서 모든 배포 모드에서 통신 지연, 계산 지연, 자원 사용률 등의 성능 메트릭을 수집한다.
• 스케일러비리티와 반응성 평가를 위해 증가하는 동시 사용자 수를 활용한 스트레스 테스트가 포함된다.
• 모든 벤치마크는 GitHub를 통해 공개되어 있으며, 재현 가능하고 일관성을 확보하기 위해 자동화된 빌드 및 배포 스크립트를 제공한다.

실험 결과

연구 질문

• RQ1 퍼그 컴퓨팅이 클라우드 전용 배포 방식보다 성능 향상이 얼마나 되는지 상대적인 성능 향상을 어떻게 정량화할 수 있는가?
• RQ2 클라우드 및 엣지 자원 간 응용 프로그램 서비스의 분포가 전체 응용 프로그램 지연과 성능에 어떻게 영향을 미치는가?
• RQ3 여러 경쟁하는 엣지 노드가 존재할 때, 주어진 서비스를 호스팅하기에 가장 적합한 엣지 자원은 무엇인가?
• RQ4 동시 사용자 수와 시스템 스트레스가 퍼그 배포 모델에서 응용 프로그램 지연에 어떻게 영향을 미치는가?
• RQ5 클라우드-엣지 연속체 전반에서 퍼그 애플리케이션 성능을 특성화하는 데 가장 유용한 메트릭은 무엇인가?

주요 결과

• DeFog는 클라우드 전용, 엣지 전용, 클라우드-엣지 배포 모드에서 통신 지연과 계산 지연을 포함한 포괄적인 성능 메트릭 카탈로그를 성공적으로 캡처했다.
• 지연이 중요한 워크로드가 엣지 자원으로 오프로드될 경우 성능 향상이 명확하게 나타나며, 특히 실시간 비디오 처리 및 오디오 변환 작업에서 유의미한 성능 향상이 확인되었다.
• 동시 사용자 수를 증가시킨 스트레스 테스트 결과, 대역폭 집약적인 애플리케이션의 경우 엣지 전용 배포가 클라우드 전용 배포보다 더 높은 사용자 부하를 더 낮은 지연으로 유지할 수 있었다.
• 이러한 방법론은 이질적인 하드웨어 플랫폼 간 일관되고 재현 가능한 비교를 가능하게 하여, 다중 플랫폼 성능 평가에 실용적인 가치를 입증했다.
• GitHub에 공개된 DeFog의 오픈소스 성격 덕분에 커뮤니티의 도입과 확장이 가능해졌으며, 향후 새로운 퍼그 사용 사례를 위한 벤치마크 개발을 지원하고 있다.
• 한계점으로는 Docker 컨테이너화에 의존함으로써 다양한 프로세서 아키텍처 간 이식성 제한이 있으며, 현재 평가에서 다층 퍼그 연속체 배포 환경이 제외되어 있다.