[논문 리뷰] LIFT: Reinforcement Learning in Computer Systems by Learning From Demonstrations

Michael Schaarschmidt, Alexander Kuhnle외 4명|arXiv (Cornell University)|2018. 08. 23.

Data Stream Mining Techniques참고 문헌 56인용 수 38

한 줄 요약

LIFT는 데이터베이스 및 스트림 처리 시스템에서 딥 강화학습(DRL)을 구현하기 위한 엔드 투 엔드 소프트웨어 스택이며, 사용자 제공의 시범 예측(예: 쿼리 로그 또는 룰 기반 설정)으로부터 에이전트를 사전 훈련함으로써 가능하게 한다. TensorForce를 백엔드로 사용하여, 불완전한 시범 예측에서 훈련된 LIFT 컨트롤러는 지연 시간과 메모리 효율성 측면에서 인간이 설계한 히ュ리스틱 및 전문가 기반 기준 대비 최대 70% 향상된 성능을 보였다.

ABSTRACT

Reinforcement learning approaches have long appealed to the data management community due to their ability to learn to control dynamic behavior from raw system performance. Recent successes in combining deep neural networks with reinforcement learning have sparked significant new interest in this domain. However, practical solutions remain elusive due to large training data requirements, algorithmic instability, and lack of standard tools. In this work, we introduce LIFT, an end-to-end software stack for applying deep reinforcement learning to data management tasks. While prior work has frequently explored applications in simulations, LIFT centers on utilizing human expertise to learn from demonstrations, thus lowering online training times. We further introduce TensorForce, a TensorFlow library for applied deep reinforcement learning exposing a unified declarative interface to common RL algorithms, thus providing a backend to LIFT. We demonstrate the utility of LIFT in two case studies in database compound indexing and resource management in stream processing. Results show LIFT controllers initialized from demonstrations can outperform human baselines and heuristics across latency metrics and space usage by up to 70%.

연구 동기 및 목표

• 컴퓨터 시스템에서 강화학습(RL)의 실용적 구현을 저해하는 높은 데이터 및 훈련 비용, 불안정성, 도구 부족 문제를 해결하기 위해.
• 기존 시스템 로그와 인간의 시범 예측을 사전 훈련 데이터로 활용하여 온라인 훈련 시간을 단축하기 위해.
• 데이터베이스 인덱싱 및 스트림 처리를 포함한 데이터 관리 워크로드에 DRL을 적용하기 위한 통합적이고 모듈러한 소프트웨어 스택을 제공하기 위해.
• 불완전한 시범 예측에서의 사전 훈련이 온라인 훈련 대비 더 빠른 수렴과 뛰어난 성능을 이끌어내는지 입증하기 위해.
• TensorForce를 도입하여, 적용 가능한 딥 강화학습을 위한 선언적 텐서플로우 라이브러리로, LIFT의 알고리즘 백엔드를 제공하기 위해.

제안 방법

• LIFT는 시스템 트레이스(예: 쿼리 계획, 실행 통계, 인덱스 사용 정보를 포함한 느린 쿼리 로그)를 입력으로 받아, 사용자가 정의한 스키마를 통해 상태, 행동, 보상을 매핑한다.
• 시범 예측은 로그 또는 룰 기반 시스템에서 추출되며, 각 트레이스는 이뮬레이션 학습을 위한 상태-행동-보상 트리플릿에 해당한다.
• 프레임워크는 DQfD(Deep Q-learning with Demonstrations)를 사용하여 DRL 에이전트를 사전 훈련하며, 신뢰도 점수를 활용해 고품질의 시범 예측을 가중치로 적용한다.
• TensorForce는 상태, 행동, 보상 사양에서 텐서플로우 계산 그래프를 생성하여, 저수준 모델 구축을 추상화한다.
• 사전 훈련된 에이전트는 실제 시스템 환경에서 온라인으로 미세조정되어 동적 워크로드에 적응한다.
• 시스템은 오프라인 사전 훈련과 온라인 개선을 모두 지원하여, 빠른 수렴과 향상된 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 관리 워크로드에서 시스템 로그로부터 제공된 불완전한 인간의 시범 예측을 사용하여 강화학습 컨트롤러를 효과적으로 사전 훈련할 수 있는가?
• RQ2 불완전한 시범 예측에서의 사전 훈련이 데이터베이스 및 스트림 처리 시스템에서 온라인 훈련 시간을 얼마나 줄이고 최종 성능을 향상시킬 수 있는가?
• RQ3 불완전한 시범 예측에서 훈련된 DRL 에이전트는 지연 시간과 자원 사용 측면에서 인간이 설계한 히ュ리스틱 및 전문가 기반 기준 대비 어떻게 비교되는가?
• RQ4 통합적이고 선언적인 딥 강화학습 라이브러리(TensorForce)가 다양한 데이터 관리 응용 분야에 대한 확장 가능한 백엔드로 기능할 수 있는가?
• RQ5 DQfD 프레임워크에서 시범 예측에 대한 신뢰도를 할당하기 위해 대규모 마진 함수를 사용할 경우, 실세계 시스템 제어에 미치는 영향은 무엇인가?

주요 결과

• 불완전한 룰 기반 시범 예측에서 사전 훈련된 LIFT 컨트롤러는 데이터베이스 복합 인덱싱 워크로드에서 인간 기반 기준 및 히ュ리스틱 대비 지연 시간과 메모리 사용량 측면에서 최대 70% 향상된 성능을 달성했다.
• 사전 훈련 단계는 온라인 훈련 시간을 크게 줄였으며, 실용적으로 긴 기간이 소요되는 대신 몇 시간 내에 수렴 가능하게 했다.
• 스트림 처리 환경에서는 LIFT가 Heron에서 최적의 작업 병렬 처리 설정을 성공적으로 학습하여, 인덱싱을 넘어서도 일반화 가능성을 입증했다.
• 신뢰도 가중치를 적용한 DQfD의 사용은 불완전한 시범 예측에서 효과적인 학습을 가능하게 하여 샘플 효율성과 안정성을 향상시켰다.
• TensorForce는 복잡한 딥 러닝 및 RL 구현 세부 정보를 추상화함으로써 DRL 에이전트의 신속한 프로토타이핑과 구현을 가능하게 했다.
• 프레임워크는 기존 시스템 로그와 히ュ리스틱을 시범 예측으로 활용하는 것이 실무 환경에서의 DRL 구현을 위한 실현 가능한 길임을 입증했다.