[논문 리뷰] Reproducible Performance Optimization of Complex Applications on the Edge-to-Cloud Continuum

Daniel Rosendo, Alexandru Costan외 5명|arXiv (Cornell University)|2021. 08. 04.

Cloud Computing and Resource Management참고 문헌 48인용 수 5

한 줄 요약

이 논문은 엣지-클라우드 컨티누üm에서 복잡한 애플리케이션을 최적화하기 위한 재현 가능한 방법론을 제안한다. 성능 설정 분석을 E2C 랩 프레임워크에 통합함으로써 이질적인 인프라스트럭처 전반에서 배포 및 설정의 트레이드오프를 체계적으로 탐색할 수 있도록 한다. 실제 1,000만 명 이상의 사용자를 보유한 애플리케이션인 Pl@ntNet에서 사용자 응답 시간을 35% 감소시키고 GPU 메모리 사용량을 30% 감소시켰다.

ABSTRACT

In more and more application areas, we are witnessing the emergence of complex workflows that combine computing, analytics and learning. They often require a hybrid execution infrastructure with IoT devices interconnected to cloud/HPC systems (aka Computing Continuum). Such workflows are subject to complex constraints and requirements in terms of performance, resource usage, energy consumption and financial costs. This makes it challenging to optimize their configuration and deployment. We propose a methodology to support the optimization of real-life applications on the Edge-to-Cloud Continuum. We implement it as an extension of E2Clab, a previously proposed framework supporting the complete experimental cycle across the Edge-to-Cloud Continuum. Our approach relies on a rigorous analysis of possible configurations in a controlled testbed environment to understand their behaviour and related performance trade-offs. We illustrate our methodology by optimizing Pl@ntNet, a world-wide plant identification application. Our methodology can be generalized to other applications in the Edge-to-Cloud Continuum.

연구 동기 및 목표

• 지연 시간, 비용, 자원 사용량과 같은 다중 제약 조건 하에서 복잡한 하이브리드 엣지-클라우드 애플리케이션을 최적화하는 데 도전하는 것.
• 이질적인 엣지, 퍼지, 클라우드 인프라스트럭처 전반에서 설정 트레이드오프를 체계적으로 분석하기 위한 재현 가능한 접근법을 제공하는 것.
• 통제된 실험기반 환경을 통해 대규모 실생활 애플리케이션 배포 및 성능 튜닝을 지원하는 것.
• 컴퓨팅 컨티누üm 전반에서 애플리케이션 워크플로우의 자동화된, 설정 인식 최적화를 가능하게 하는 것.

제안 방법

• 통제된 실험기반 환경 내에서 철저한 설정 공간 분석을 통합하여 엣지, 퍼지, 클라우드 계층 간의 성능 트레이드오프를 평가하는 방법론을 구현한다.
• E2C 랩 프레임워크에 최적화 레이어를 추가하여 컨티누üm 전반에서 자동 배포, 모니터링, 결과 수집을 지원한다.
• 애플리케이션 및 인프라스트럭처 파라미터를 최적화 설정 파일 내의 구성 가능한 변수로 모델링함으로써 체계적인 실험을 가능하게 한다.
• 응답 시간 및 자원 소비와 같은 성능 메트릭을 기반으로, 계산적으로 탐색 가능한 최적화 기법을 사용하여 배포 및 설정 옵션을 탐색한다.
• 사용자 정의 서비스는 Service 클래스를 통해 지원되며, Flink, Spark, 또는 Kafka 클러스터와 같은 컴포넌트에 대한 커스터마이징된 배포 로직을 허용한다.
• 실제 애플리케이션에서의 방법론 검증을 위해 42개 노드를 갖는 Grid’5000 실험기반 환경을 구현한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 이질적인 인프라스트럭처 전반에서 복잡한 하이브리드 엣지-클라우드 애플리케이션의 성능 트레이드오프를 체계적으로 분석하고 최적화할 수 있는가?
• RQ2 실제 애플리케이션에서 종단 간 지연 시간, 자원 사용량, 에너지 소비에 가장 큰 영향을 미치는 설정 파라미터는 무엇인가?
• RQ3 엣지-클라우드 컨티누üm 전반에서 성능 최적화 실험의 재현 가능성을 어떻게 확보할 수 있는가?
• RQ4 자동 설정 튜닝을 통해 대규모 애플리케이션에서 사용자 응답 시간과 GPU 메모리 소비를 얼마나 줄일 수 있는가?

주요 결과

• Pl@ntNet에서 최적화된 스레드 풀 할당은 기준 설정 대비 동시에 처리 가능한 요청 수를 35% 증가시켰다.
• 최적화된 설정은 다양한 워크로드에서 사용자 응답 시간을 감소시켜 애플리케이션의 반응성 향상을 이뤘다.
• 최적화된 설정 하에서 GPU 메모리 사용량은 30% 감소하여 자원 효율성이 향상되었다.
• 이론적 설정 공간 탐색을 통해 고성능 설정을 성공적으로 식별하였다.
• 개선된 E2C 랩 프레임워크는 실존 실험기반 환경에서 배포, 모니터링, 최적화를 포함한 전체 실험 주기를 지원한다.
• Pl@ntNet에 성공적으로 적용된 바를 통해 이 방법론은 엣지-클라우드 컨티누üm 내 다른 애플리케이션에도 일반화 가능함을 입증하였다.