[논문 리뷰] Learning Runtime Parameters in Computer Systems with Delayed Experience Injection

Michael Schaarschmidt, Felix Gessert외 2명|arXiv (Cornell University)|2016. 10. 31.

Caching and Content Delivery참고 문헌 15인용 수 8

한 줄 요약

이 논문은 실시간 지연 시간 제약 조건 하에서 클라우드 데이터베이스의 HTTP 캐시 만료 시간을 동적으로 최적화하기 위해 지연된 경험 주입을 사용하는 정규화된 이득 함수를 적용한 딥 강화 학습 접근법(NAF-DEI)을 제안한다. 동시 환경에서 지연된 보상과 다음 상태 정보를 비동기적으로 관리함으로써, NAF-DEI는 88.5% 평균 캐시 히트율과 7.3%의 무효화율을 기록하며, 특히 높은 왈드 워크로드 상황에서 통계적 포아송 추정기보다 뛰어난 성능을 발휘한다.

ABSTRACT

Learning effective configurations in computer systems without hand-crafting models for every parameter is a long-standing problem. This paper investigates the use of deep reinforcement learning for runtime parameters of cloud databases under latency constraints. Cloud services serve up to thousands of concurrent requests per second and can adjust critical parameters by leveraging performance metrics. In this work, we use continuous deep reinforcement learning to learn optimal cache expirations for HTTP caching in content delivery networks. To this end, we introduce a technique for asynchronous experience management called delayed experience injection, which facilitates delayed reward and next-state computation in concurrent environments where measurements are not immediately available. Evaluation results show that our approach based on normalized advantage functions and asynchronous CPU-only training outperforms a statistical estimator.

연구 동기 및 목표

• 강한 지연 시간 제약 조건과 지연된 성능 피드백을 동반한 컴퓨터 시스템에서 최적의 런타임 파라미터를 학습하는 데 도전하는 것.
• 사전 오프라인 훈련 없이 클라우드 데이터베이스에서 실시간으로 요청 수준의 설정 결정을 가능하게 하는 것.
• 성능 메트릭이 즉시 가용하지 않는 동시 시스템에서 지연된 책임 할당 문제를 해결하는 것.
• 세밀한 런타임 메트릭을 활용하여 동적 파라미터 조정을 위한 확장성 있고 CPU 전용 훈련 방법을 개발하는 것.
• 딥 강화 학습이 캐시 만료 시간 예측에서 전통적인 통계 추정기보다 뛰어나게 작용할 수 있음을 입증하는 것.

제안 방법

• 연속적 행동 공간 제어를 위해 정규화된 이득 함수(NAFs)를 사용하며, 가치 함수와 이득 함수를 동시에 출력하는 단일 신경망을 활용한다.
• 보상과 다음 상태 정보가 즉시 가용하지 않을 경우 경험을 비동기적으로 저장하고 처리하는 메커니즘인 지연된 경험 주입(DEI)을 도입한다.
• 딥 Q네트워크와 유사하게 우선순위 샘플링이 적용된 리PLAY 메모리와 타겟 네트워크를 사용하여 훈련을 안정화한다.
• 보상은 캐시 히트율과 무효화율 기반으로 형상 조정되며, 워크로드 믹스와 서비스 수준 목표를 반영하도록 동적으로 조정된다.
• 시스템은 사전 훈련 없이 실시간으로 들어오는 요청을 처리하고 정책 파rameter를 온라인으로 업데이트한다.
• 알고리즘은 CPU 전용으로 훈련되어 자원 제약 조건이 있는 환경에서도 배포가 가능하다.

실험 결과

연구 질문

• RQ1 딥 강화 학습은 최소한의 훈련 오버헤드로 실시간 요청 수준의 파라미터 조정에 효과적으로 적용될 수 있는가?
• RQ2 성능 메트릭이 비동기적으로 도착하는 동시 고처리량 시스템에서 지연된 보상과 다음 상태 정보를 효율적으로 관리할 수 있는가?
• RQ3 다양한 워크로드 하에서 딥 강화 학습 기반 컨트롤러가 최적의 캐시 만료 시간 예측에서 통계 추정기보다 뛰어나게 작용할 수 있는가?
• RQ4 전체 통계 대비 세밀한 런타임 메트릭의 사용이 캐시 성능 향상에 얼마나 기여하는가?
• RQ5 보상 형상 조정을 통해 캐시 히트율을 높이고 무효화율을 낮추는 등의 상충되는 목표를 어떻게 균형 있게 조정할 수 있는가?

주요 결과

• 10%의 왈드 워크로드 하에서 NAF-DEI는 평균 캐시 히트율 88.5%와 무효화율 7.3%를 기록했으며, 포아송 추정기(히트율 79.5%, 무효화율 6.8%)보다 뚜렷이 뛰어난 성능을 보였다.
• 30%의 왈드 워크로드 하에서 NAF-DEI는 캐시 히트율 77.7%와 무효화율 21.4%를 기록했으며, 포아송 추정기(히트율 62.6%, 무효화율 15.6%)보다 높은 내구성을 입증했다.
• 시스템은 고병렬성(1,000건/초) 조건에서도 운영을 시작한 지 몇 분 내로 효과적인 정책을 학습했으며, 이는 빠른 수렴을 의미한다.
• 보상 조정이 워크로드 믹스를 반영하지 않은 경우, 시스템은 TTL을 5~10초간 과도하게 예측하는 경향을 보였으며, 이는 동적 보상 형상 조정의 중요성을 시사한다.
• 워크로드 믹스를 반영하도록 보상을 조정한 경우, TTL은 시간이 지남에 따라 적절히 감소했으며, 이는 적응형 행동을 보여주었다.
• 해석 모델이 필요 없이 캐시 성능과 무효화율 간의 효과적인 트레이드오���을 가능하게 하여, 다목적 최적화에서 강화 학습의 유연성을 입증했다.