[논문 리뷰] Differentiate Quality of Experience Scheduling for Deep Learning Applications with Docker Containers in the Cloud

Ying Mao, Weifeng Yan외 5명|arXiv (Cornell University)|2020. 01. 01.

IoT and Edge/Fog Computing참고 문헌 18인용 수 2

한 줄 요약

이 논문은 딥러닝 워크로드를 위한 도커라이즈드 클라우드 환경에서 품질 경험(QoE)을 우선시하는 동적 리소스 스케줄러인 DQoES를 제안한다. 비용보다 QoE를 우선시함으로써, 클라이언트가 지정한 QoE 목표(예: 응답 시간)에 따라 CPU 및 GPU 할당을 조정함으로써 동시 워크로드에서 기준 시스템 대비 최대 8배 더 많은 만족스러운 모델을 달성한다.

ABSTRACT

With the prevalence of big-data-driven applications, such as face recognition on smartphones and tailored recommendations from Google Ads, we are on the road to a lifestyle with significantly more intelligence than ever before. For example, Aipoly Vision [1] is an object and color recognizer that helps the blind, visually impaired, and color blind understand their surroundings. At the back end side of their intelligence, various neural networks powered models are running to enable quick responses to users. Supporting those models requires lots of cloud-based computational resources, e.g. CPUs and GPUs. The cloud providers charge their clients by the amount of resources that they occupied. From clients' perspective, they have to balance the budget and quality of experiences (e.g. response time). The budget leans on individual business owners and the required Quality of Experience (QoE) depends on usage scenarios of different applications, for instance, an autonomous vehicle requires realtime response, but, unlocking your smartphone can tolerate delays. However, cloud providers fail to offer a QoE based option to their clients. In this paper, we propose DQoES, a differentiate quality of experience scheduler for deep learning applications. DQoES accepts client's specification on targeted QoEs, and dynamically adjust resources to approach their targets. Through extensive, cloud-based experiments, DQoES demonstrates that it can schedule multiple concurrent jobs with respect to various QoEs and achieve up to 8x times more satisfied models compared to the existing system.

연구 동기 및 목표

• 딥러닝 워크로드를 위한 클라우드 플랫폼에서 품질 경험(QoE) 기반 리소스 할당의 부족을 해결한다.
• 클라이언트가 자신의 애플리케이션에 대해 원하는 QoE 목표(예: 응답 시간)를 지정할 수 있도록 한다. 예를 들어 자율 주행 차량의 실시간 추론이나 스마트폰 잠금 해제에 대한 관용 가능한 지연 시간을 포함한다.
• 다양한 QoE 요구사항을 충족시키기 위해 여러 동시 실행 작업 간에 동적으로 클라우드 리소스(CPU/GPU)를 할당하는 스케줄러를 개발한다.
• 비용 외의 요소인 QoE 기반 최적화를 통해 자원 배분을 개선함으로써 클라이언트 만족도를 향상시킨다.

제안 방법

• 개별 딥러닝 추론 워크로드에 대해 클라이언트가 지정한 QoE 목표(예: 최대 응답 시간)를 입력하는 스케줄러를 설계한다.
• 각 컨테이너라이즈드 워크로드의 QoE 목표와 현재 워크로드 조건에 따라 리소스 할당(CPU 및 GPU)을 동적으로 조정한다.
• 작업의 응답 시간을 모니터링하는 피드백 메커니즘을 사용하여 실시간으로 리소스 할당을 조정함으로써 QoE 목표를 달성한다.
• 요구 수준이 높고 지연에 민감한 작업을 우선순위에 따라 할당 비율을 조정함으로써 우선순위를 정한다.
• 도커 컨테이너와 통합하여 클라우드에서 경량이고 고립된 딥러닝 모델 실행을 가능하게 한다.
• 다양한 동시 워크로드 간의 리소스 활용도를 균형 있게 유지하면서도 QoE 목표를 충족시킨다.

실험 결과

연구 질문

• RQ1 컨테이너라이즈드 환경에서 다양한 품질 경험(QoE) 목표를 충족시키기 위해 스케줄러가 클라우드 리소스를 동적으로 할당할 수 있는가?
• RQ2 다양한 QoE 요구사항을 가진 여러 워크로드가 동시에 실행될 때, 제안된 DQoES 스케줄러는 기존 시스템 대비 클라이언트 만족도에서 어떤가?
• RQ3 동적 리소스 할당이 전체 리소스 비용을 증가시키지 않고 QoE를 얼마나 향상시킬 수 있는가?

주요 결과

• DQoES는 클라우드 환경에서 다양한 QoE 요구사항을 가진 여러 동시 딥러닝 워크로드를 성공적으로 스케줄링한다.
• 기준 시스템 대비 최대 8배 더 많은 만족스러운 모델을 달성하며, 클라이언트가 지정한 응답 시간 목표를 충족한 것으로 측정된다.
• CPU 및 GPU 할당을 동적으로 조정함으로써 자율 주행 차량과 같은 시간 민감도가 높은 응용 프로그램에 대해 높은 QoE를 유지하면서도 덜 엄격한 워크로드를 효율적으로 관리한다.
• 전체 리소스 소비량을 증가시키지 않으면서도 클라이언트 만족도가 크게 향상됨을 보여주며, 이는 자원 활용의 효율성을 시사한다.
• 실시간 추론에서부터 관용 가능한 지연 시간이 허용되는 응용 프로그램에 이르기까지 다양한 사용 시나리오에서 효과적이며, 이는 유연성과 적응 가능성의 증거이다.