[論文レビュー] A View on Deep Reinforcement Learning in System Optimization

Ameer Haj-Ali, Nesreen K. Ahmed+4 more|arXiv (Cornell University)|Aug 4, 2019

Reinforcement Learning in Robotics参考文献 77被引用数 18

ひとこと要約

この論文は、システム最適化における深層強化学習（DRL）の応用をレビューし、DRLの有効性を評価するための標準化された指標を提案する。状態／行動／報酬の定式化、モデル効率性、耐障害性の課題を分析し、一般化性と実世界のシステム（クラウドスケジューリングやコンパイラ最適化など）における性能を向上させるために、より良いベンチマークと符号化手法の導入を提言する。

ABSTRACT

Many real-world systems problems require reasoning about the long term consequences of actions taken to configure and manage the system. These problems with delayed and often sequentially aggregated reward, are often inherently reinforcement learning problems and present the opportunity to leverage the recent substantial advances in deep reinforcement learning. However, in some cases, it is not clear why deep reinforcement learning is a good fit for the problem. Sometimes, it does not perform better than the state-of-the-art solutions. And in other cases, random search or greedy algorithms could outperform deep reinforcement learning. In this paper, we review, discuss, and evaluate the recent trends of using deep reinforcement learning in system optimization. We propose a set of essential metrics to guide future works in evaluating the efficacy of using deep reinforcement learning in system optimization. Our evaluation includes challenges, the types of problems, their formulation in the deep reinforcement learning setting, embedding, the model used, efficiency, and robustness. We conclude with a discussion on open challenges and potential directions for pushing further the integration of reinforcement learning in system optimization.

研究の動機と目的

• システム最適化タスクにおける深層強化学習（DRL）の標準化された評価指標の欠如に対処すること。
• 実世界のシステムにDRLを適用する際の核心的課題を特定・分析すること、特に状態／行動／報酬の定式化と環境のダイナミクスを含む。
• スケジューリング、混雑制御、コンパイラ最適化を含む、多様なシステム最適化問題におけるDRLの有効性を評価すること。
• 効率性、耐障害性、一般化性の観点から、DRLの性能を評価するための基本的指標のフレームワークを提案すること。
• 複雑なシステム環境における、より安定的で移行可能でスケーラブルなDRLソリューションの開発を促進するための今後の研究を導くこと。

提案手法

• DRLのシステム最適化への応用における、効率性、耐障害性、一般化性に焦点を当てた、核となる評価指標のセットを提案する。
• パケット分類、クラウド環境における混雑制御およびジョブスケジューリングを含む、DRLを用いたシステム最適化分野の先行研究をレビューする。
• DRL定式化における状態、行動、報酬の設計を分析し、意味的かつ代表的な符号化の重要性を強調する。
• DQN、PPO、SACを含むモデルベースおよびオフポリシーDRLアルゴリズムを、システム制御と最適化の文脈で議論する。
• DRLエージェントが無限ループに陥るのを防ぐメカニズムを導入する。具体的には、行動の繰り返し回数を制限し、状態に変化がない場合に代替行動を選択する。
• サンプル効率性と一般化性の向上のため、トランスファーラーニングとより良い状態表現の導入を提言する。

実験結果

リサーチクエスチョン

• RQ1 システム最適化問題を深層強化学習タスクとして定式化する際の主な課題は何ですか？
• RQ2 なぜ一部のDRLソリューションは、ランダムサーチやグリーディアルゴリズムといった単純なベースラインよりも性能が劣るのでしょうか？
• RQ3 主観的またはタスク固有の結果を超えて、DRLの有効性をどのように評価できるでしょうか？
• RQ4 状態、行動、報酬の設計が、実世界のシステムにおけるDRLの成功または失敗に果たす役割はどのようなものですか？
• RQ5 DRLを、変動するシステムワークロードや動的環境において、より耐障害性があり一般化可能な形にどのように改善できるでしょうか？

主な発見

• DRLのシステム最適化への応用における標準化された評価指標は現在存在せず、これにより研究間での結果の不一致や比較の困難さが生じている。
• DRLの性能は、状態・行動・報酬の表現設計に極めて敏感であり、不適切な符号化は最適でない、あるいは不安定な学習を引き起こす。
• 一部の事例では、グリーディアルゴリズムやランダムサーチといった単純なベースラインがDRLを上回る結果を示しており、DRLが万能ではないことが示唆されている。
• 行動が環境状態に変化をもたらさない場合、DRLエージェントに無限ループが発生する可能性があるが、行動の繰り返し回数を制限し、代替行動を選択することで緩和できる。
• トランスファーラーニングとより良い状態表現は、動的環境におけるシステムワークロード全体にわたるサンプル効率性と一般化性の向上に不可欠である。
• DRLは、クラウドジョブスケジューリング、コンパイラ最適化、ネットワーク混雑制御といった複雑なシステムタスクにおいて強い可能性を示しているが、より堅牢なベンチマークとフレームワークの整備が求められる。