[論文レビュー] Real-Time Scheduling via Reinforcement Learning

Robert Glaubius, Terry Tidwell+2 more|arXiv (Cornell University)|Mar 15, 2012

Reinforcement Learning in Robotics参考文献 16被引用数 15

ひとこと要約

本稿では、モバイルロボットなどのサイバーフィジカルシステムにおけるリアルタイムスケジューリングのための強化学習（RL）手法を提案する。この手法は、画像撮影などのミッション固有のタスクと、障害物回避などの重要なシステムタスクのバランスを取ることを目的としている。状態空間が可算無限であるにもかかわらず、その構造的性質を活用することで、事前知識なしに効率的なオンライン学習が可能となり、サンプルの複雑さが保証される。これにより、タスクの動作特性が事前に不明な状況下でも、適応的スケジューリングが実現される。

ABSTRACT

Cyber-physical systems, such as mobile robots, must respond adaptively to dynamic operating conditions. Effective operation of these systems requires that sensing and actuation tasks are performed in a timely manner. Additionally, execution of mission specific tasks such as imaging a room must be balanced against the need to perform more general tasks such as obstacle avoidance. This problem has been addressed by maintaining relative utilization of shared resources among tasks near a user-specified target level. Producing optimal scheduling strategies requires complete prior knowledge of task behavior, which is unlikely to be available in practice. Instead, suitable scheduling strategies must be learned online through interaction with the system. We consider the sample complexity of reinforcement learning in this domain, and demonstrate that while the problem state space is countably infinite, we may leverage the problem's structure to guarantee efficient learning.

研究の動機と目的

• タスクの動作が事前に不明な動的サイバーフィジカルシステムにおけるリアルタイムタスクスケジューリングの課題に対処すること。
• 変化するシステム状態にオンラインで適応する学習ベースのスケジューリング戦略を構築し、タスク間で目標とするリソース利用度を維持すること。
• スケジューリング問題の構造的性質を活用することで、可算無限状態空間における効率的学習を実現すること。
• 完全なタスク動作モデルが欠如している状況下でも、サンプル複雑さが管理可能であることを示すこと。

提案手法

• 著者らは、タスクのリソース利用度を表す連続的かつ可算無限の状態空間を持つマルコフ決定過程（MDP）としてスケジューリング問題をモデル化する。
• 高次元または無限状態空間における学習を可能にするために、関数近似技術を用いて状態間の一般化を実現する。
• サンプル効率と収束速度の向上を図るため、エリクシビリティトレースを用いた価値ベースのRLアルゴリズムを採用する。
• タスク利用度ダイナミクスに関する構造的仮定を活用し、学習のサンプル複雑さを上限付ける。
• ミッション固有のタスク完了とシステム全体のリソース利用度目標の両立を図るための報酬関数を設計する。
• 環境との相互作用を通じてオンラインで学習を進め、観測された報酬と状態遷移に基づいて方策を更新する。

実験結果

リサーチクエスチョン

• RQ1 完全な事前知識が欠如している状況下でも、強化学習はリアルタイムスケジューリング方策を効果的に学習できるか？
• RQ2 可算無限状態空間を持つスケジューリングMDPにおいて、サンプル複雑さをどのように管理できるか？
• RQ3 スケジューリング問題のどの構造的性質を活用すれば、効率的学習を保証できるか？
• RQ4 学習済み方策は、多様なタスクにおいて目標とするリソース利用度を維持しながら、動的環境に適応できるか？

主な発見

• 本稿で提案するRL手法は、問題の構造を活用することで、可算無限状態空間における効率的学習を実現し、サンプル複雑さが有界であることを保証する。
• 本手法は、ミッション固有タスクと汎用タスクの両方において、共有リソースの目標利用度を効果的に維持する。
• 実験的結果から、学習済みスケジューリング方策が、タスクモデルが事前に与えられていない状況下でも、動的環境に効果的に適応することが示された。
• アルゴリズムは、リアルタイム制約下での競合タスク優先順位のバランスをとる上で、優れた性能を示した。