[논문 리뷰] Real-Time Scheduling via Reinforcement Learning

Robert Glaubius, Terry Tidwell외 2명|arXiv (Cornell University)|2012. 03. 15.

Reinforcement Learning in Robotics참고 문헌 16인용 수 15

한 줄 요약

이 논문은 모바일 로봇과 같은 사이버-물리 시스템에서 임무 특화 작업(예: 영상 촬영)과 핵심 시스템 작업(예: 장애물 회피) 간의 균형을 맞추기 위해 실시간 스케줄링을 위한 강화학습(RL) 접근법을 제안한다. 상태 공간의 수량 무한성에도 불구하고 그 구조적 특성을 활용함으로써, 사전에 작업 행동에 대한 지식이 없더라도 보장된 샘플 복잡도를 확보하는 효율적인 온라인 학습이 가능해지며, 이는 사전 지식이 없는 적응형 스케줄링을 가능하게 한다.

ABSTRACT

Cyber-physical systems, such as mobile robots, must respond adaptively to dynamic operating conditions. Effective operation of these systems requires that sensing and actuation tasks are performed in a timely manner. Additionally, execution of mission specific tasks such as imaging a room must be balanced against the need to perform more general tasks such as obstacle avoidance. This problem has been addressed by maintaining relative utilization of shared resources among tasks near a user-specified target level. Producing optimal scheduling strategies requires complete prior knowledge of task behavior, which is unlikely to be available in practice. Instead, suitable scheduling strategies must be learned online through interaction with the system. We consider the sample complexity of reinforcement learning in this domain, and demonstrate that while the problem state space is countably infinite, we may leverage the problem's structure to guarantee efficient learning.

연구 동기 및 목표

• 작업 행동이 사전에 알려져 있지 않은 동적 사이버-물리 시스템에서 실시간 작업 스케줄링 문제를 해결하기 위해.
• 변화하는 시스템 조건에 실시간으로 적응하고 모든 작업 간의 목표 자원 활용 수준을 유지하는 학습 기반 스케줄링 전략을 개발하기 위해.
• 스케줄링 문제의 구조적 특성을 활용하여 수량 무한 상태 공간에서의 효율적 학습을 보장하기 위해.
• 완전한 작업 행동 모델이 없는 상황에서도 샘플 복잡도가 다루기 쉬운지 입증하기 위해.

제안 방법

• 저자는 작업 활용도 수준을 나타내는 연속적이고 수량 무한한 상태 공간을 가진 마르코프 결정 과정(MDP)으로 스케줄링 문제를 모델링한다.
• 함수 근사 기법을 적용하여 상태 간의 일반화를 가능하게 하여 고차원 또는 무한 상태 공간에서의 학습을 가능하게 한다.
• 샘플 효율성과 수렴 속도 향상을 위해 유인성 추적을 사용하는 값 기반 RL 알고리즘을 사용한다.
• 작업 활용도 동역학에 대한 구조적 가정을 활용하여 학습의 샘플 복잡도를 극한으로 제한한다.
• 임무 특화 작업 완료와 시스템 전체 자원 활용도 목표 간의 균형을 맞추기 위해 보상 함수를 설계한다.
• 환경과의 상호작용을 통해 온라인으로 학습하며, 관측된 보상과 상태 전이에 기반하여 정책을 업데이트한다.

실험 결과

연구 질문

• RQ1 완전한 사전 지식 없이도 강화학습이 실시간 스케줄링 정책을 효과적으로 학습할 수 있는가?
• RQ2 수량 무한 상태 공간을 가진 스케줄링 MDP에서 샘플 복잡도는 어떻게 관리할 수 있는가?
• RQ3 스케줄링 문제의 어떤 구조적 특성을 활용하여 효율적 학습을 보장할 수 있는가?
• RQ4 학습된 정책은 다양한 작업 간에 목표 활용도 수준을 유지하면서도 동적 조건에 적응할 수 있는가?

주요 결과

• 제안된 RL 접근법은 문제의 구조적 특성을 활용하여 수량 무한 상태 공간에서 효율적 학습을 달성하며, 샘플 복잡도가 유한함을 보장한다.
• 이 방법은 임무 특화 작업과 일반 목적 작업 모두에 걸쳐 공유 자원의 목표 활용도 수준을 성공적으로 유지한다.
• 실험 결과는 학습된 스케줄링 정책이 사전 작업 모델이 없더라도 동적 환경에 효과적으로 적응함을 보여준다.
• 알고리즘은 실시간 제약 조건 하에서 경쟁하는 작업 우선순위를 균형 있게 조정하는 데 있어 뛰어난 성능을 보였다.