[논문 리뷰] Reinforcement Learning Based Orchestration for Elastic Services

Mauricio Fadel Argerich, Bin Cheng외 1명|arXiv (Cornell University)|2019. 04. 26.

IoT and Edge/Fog Computing참고 문헌 9인용 수 4

한 줄 요약

이 논문은 변동하는 실행 환경에 맞춰 유연한 서비스 동작을 동적으로 적응시킬 수 있도록 엣지 컴퓨팅 환경에서 탄력적 서비스를 위한 강화학습(RL)-기반 오케스트레이션 프레임워크를 제안한다. 시행착오를 통해 최적의 설정 정책을 학습함으로써, 히وري스틱 기반 방법보다 정밀도가 10–25% 높고, 계산 오버헤드는 25% 낮으며, 서비스 자체에선 0.5% 미만의 런타임 오버헤드를 기록한다.

ABSTRACT

Due to the highly variable execution context in which edge services run, adapting their behavior to the execution context is crucial to comply with their requirements. However, adapting service behavior is a challenging task because it is hard to anticipate the execution contexts in which it will be deployed, as well as assessing the impact that each behavior change will produce. In order to provide this adaptation efficiently, we propose a Reinforcement Learning (RL) based Orchestration for Elastic Services. We implement and evaluate this approach by adapting an elastic service in different simulated execution contexts and comparing its performance to a Heuristics based approach. We show that elastic services achieve high precision and requirement satisfaction rates while creating an overhead of less than 0.5% to the overall service. In particular, the RL approach proves to be more efficient than its rule-based counterpart; yielding a 10 to 25% higher precision while being 25% less computationally expensive.

연구 동기 및 목표

• 이질적이고 자원이 제한된 엣지 환경에서 예측 불가능한 워크로드를 가진 동적 환경에서 서비스 동작을 동적으로 적응시키는 과제를 해결하기 위해.
• 다양한 실행 환경에 일반화되지 않는 사전 정의된 히وري스틱에 대한 의존도를 줄이기 위해.
• 경험을 통해 최적의 설정을 학습하는 자가 적응형 서비스 오케스트레이션을 가능하게 하여 정밀도와 지연 시간 만족도를 모두 향상시키기 위해.
• 모의 엣지 시나리오에서 RL 기반 오케스트레이션의 성능을 히وري스틱 기반 접근 방식과 비교 평가하기 위해.
• RL 기반 오케스트레이션은 최소한의 런타임 오버헤드로 높은 요구사항 만족도를 달성할 수 있음을 입증하기 위해.

제안 방법

• 서비스 적응을 마르코프 결정 과정(MDP)으로 모델링하여, 상태를 시스템 및 워크로드 조건으로 정의하고, 행동을 설정 파라미터 변경으로 정의하며, 보상은 정밀도와 지연 시간 만족도의 함수로 정의한다.
• 관측된 상태에 기반해 누적 보상을 최대화하는 행동을 선택할 수 있도록, 표 형태의 Q-학습 알고리즘을 사용해 에이전트를 훈련시킨다.
• 상태 공간에는 CPU 가용성, 프레임당 얼굴 수, 네트워크 조건 등이 포함되며, 행동으로는 이미지 해상도 조정, 전처리 단계 변경, 모델 추론 설정 조정 등이 있다.
• 보상 함수는 높은 정밀도(정확한 탐지)와 낮은 지연 시간(서비스 수준 목표(SLO) 달성)을 균형 잡고, 종합 응답 시간 제약 위반 시 이를 처벌한다.
• 실제 영상 분석 워크로드를 사용해 시뮬레이션 환경에서 평가하였으며, 이는 손실된 어린이 응용 프로그램 등을 포함한다. 다양한 부하 및 하드웨어 조건에서 평가하였다.
• 설정 변경에 고정 규칙를 사용하는 히وري스틱 기반 오케스트레이션 전략과 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 강화학습이 동적 엣지 환경에서 탄력적 서비스에 대한 최적의 설정 정책을 효과적으로 학습할 수 있는가?
• RQ2 정밀도와 지연 시간 만족도 측면에서 RL 기반 오케스트레이션은 히وري스틱 기반 접근 방식보다 어떻게 비교되는가?
• RQ3 RL 기반 오케스트레이션 메커니즘의 런타임 오버헤드는 전체 서비스 실행 대비 얼마나 되는가?
• RQ4 CPU 가용성과 같은 시스템 자원의 급격한 변화에 RL 에이전트는 얼마나 빨리 적응할 수 있는가?
• RQ5 수동 재설정 없이 다양한 워크로드와 하드웨어 구성에 대해 RL 접근 방식이 일반화 가능한가?

주요 결과

• 모든 테스트 워크로드에서, 즉 랜덤, 전일, 가변 부하 패턴에서도 RL 기반 오케스트레이션은 히وري스틱 기반 접근 방식보다 정밀도가 10–25% 높았다.
• 고부하 상황에서 RL 접근 방식은 94.72%의 지연 시간 만족률을 유지했으며, 동일한 조건에서 히وري스틱은 79.06%에 그쳤다.
• Intel Core i5에서 RL 기반 시스템은 계산 오버헤드를 0.30%로 줄였고, Raspberry Pi 3 B+에서도 동일하게 0.30%를 기록했으며, 히وري스틱 접근 방식은 0.42%였다.
• CPU 가용성이 스텝 485에서 감소하자, RL 에이전트는 30단계 내에 적응하여 정밀도는 약간 감소시켰지만 지연 시간 준수는 유지했다.
• CPU 가용성이 스텝 515에 복구되자, 시스템은 다시 높은 정밀도 설정으로 복귀했으며, 이는 빠르고 효과적인 적응을 보여주었다.
• RL 기반 접근 방식은 히وري스틱 방법 대비 실행 시간을 25% 줄여 계산 효율성이 향상됨을 나타냈다.