[논문 리뷰] The Serverless Scheduling Problem and NOAH

Manuel Stein|arXiv (Cornell University)|2018. 09. 17.

Scheduling and Optimization Algorithms참고 문헌 6인용 수 11

한 줄 요약

이 논문은 응답 시간과 자원 비용을 조절하기 위해 대기 시간 임계값을 튜닝하는 비협력적 온라인 할당 히ュ리스틱인 NOAH를 제안한다. 가상으로 수요를 할당하고 컨테이너의 순환(Churn)을 제어함으로써, 고도로 활용된 환경에서 OpenWhisk과 비협력 게임 기반 부하 분산보다 우수한 성능을 발휘하며, 지연과 비용 간의 구성 가능한 트레이드오프를 통해 더 낮은 응답 시간과 더 높은 컨테이너 활용도를 달성한다.

ABSTRACT

The serverless scheduling problem poses a new challenge to Cloud service platform providers because it is rather a job scheduling problem than a traditional resource allocation or request load balancing problem. Traditionally, elastic cloud applications use managed virtual resource allocation and employ request load balancers to orchestrate the deployment. With serverless, the provider needs to solve both the load balancing and the allocation. This work reviews the current Apache OpenWhisk serverless event load balancing and a noncooperative game-theoretic load balancing approach for response time minimization in distributed systems. It is shown by simulation that neither performs well under high system utilization which inspired a noncooperative online allocation heuristic that allows tuning the trade-off between for response time and resource cost of each serverless function.

연구 동기 및 목표

• 고도로 활용된 환경에서 서버리스 플랫폼에서 응답 시간과 자원 비용을 균형 있게 조절하는 문제를 해결하기 위해.
• Apache OpenWhisk 및 비협력 게임 기반 부하 분산과 같은 기존 스케줄러의 한계를 극복하기 위해, 이는 과도한 컨테이너 순환과 확장성 문제로 인해 성능이 떨어지기 때문이다.
• 응용 프로그램별 응답 시간 및 비용 요구 사항에 따라 스케일링 행동을 튜닝할 수 있는 파라미터화된 온라인 할당 히ュ리스틱을 설계하기 위해.
• 모의된 분산 서버리스 환경에서 컨테이너 활용도, 응답 시간, 자원 비용 간의 트레이드오프를 평가하기 위해.

제안 방법

• NOAH는 비협력적 온라인 할당 히ュ리스틱을 사용하여, 인스턴스 스케일링을 제어하고 컨테이너 순환을 줄이기 위해 수요를 가상으로 할당한다.
• 응답 시간 기준으로 설정된 임계값(α)을 기반으로 필요한 호스트 수를 설정하기 위해 에를랑-씨 공식을 적용한다.
• 동시 처리 이벤트 수와 호스트당 총 컨테이너 수를 제한하여 자원 과도 할당과 유휴 컨테이너 제거를 방지한다.
• NOAH는 필요할 때만 동적으로 스케일아웃하며, 최소한의 필수 호스트 세트만 커버하고 불필요한 VM을 해제하여 비용을 절감한다.
• 부하 분산과 자원 할당을 분리함으로써 응답 시간과 자원 활용도를 별도로 튜닝할 수 있다.
• 도착률(Λ), 대기 시간 기준값(α), 컨테이너 설정 시간(500 ms)을 변화시켜 시뮬레이션을 통해 평가한다.

실험 결과

연구 질문

• RQ1 고도로 활용된 환경에서 NOAH가 Apache OpenWhisk 및 비협력 게임 기반 부하 분산과 비교해 응답 시간과 컨테이너 순환 측면에서 어떻게 성능을 내는가?
• RQ2 NOAH가 대기 시간 기준값 α를 튜닝함으로써 냉시작을 얼마나 줄이고 컨테이너 활용도를 향상시킬 수 있는가?
• RQ3 NOAH에서 다양한 α 설정에서 응답 시간과 자원 비용 간의 트레이드오프는 어떻게 나타나는가?
• RQ4 컨테이너 설정 시간과 메시지 분포는 서버리스 플랫폼의 스케줄링 성능에 어떤 영향을 미치는가?

주요 결과

• NOAH는 워크로드 증가에 비례해 안정적인 냉시작 비율을 유지하지만, OpenWhisk는 50~60개의 메시지/초에서 과도한 순환과 성능 저하를 겪는다.
• 고부하 상황에서 α = 10 μs(엄격한 응답 시간) 설정 시 NOAH는 가장 낮은 응답 시간과 가장 높은 컨테이너 활용도를 달성하지만, α = 10 ms 설정 시에는 더 적은 호스트를 사용하지만 더 높은 순환을 경험한다.
• 특히 고부하 상황에서 NOAH는 OpenWhisk나 비협력 부하 분산보다 더 높은 컨테이너 활용도를 보이며, 유휴 컨테이너 제거를 줄이고 인스턴스 재사용을 개선함으로써 성능 향상을 이룬다.
• NOAH의 컨테이너 생성 수는 워크로드 증가에 비례해 증가하지만, OpenWhisk와 비협력 방식은 과도한 제거와 무작위 부하 분포로 인해 급격한 피크를 보인다.
• NOAH는 불필요한 호스트를 완전히 해제함으로써 자원 비용을 절감하며, 최소한의 필수 사이트 세트만 커버한다. 반면 OpenWhisk와 비협력 방식은 전체 풀 활용을 유지한다.
• 시뮬레이션 결과, 더 긴 대기 시간(α = 10 ms)을 允허하면 호스트 커버리지가 감소하고 순환이 증가하지만, 엄격한 기준값(α = 10 μs)을 적용할 경우 활용도가 향상되고 냉시작이 감소한다.