[論文レビュー] Optimizing the Long-Term Average Reward for Continuing MDPs: A Technical Report

Chao Xu, Yiping Xie+4 more|arXiv (Cornell University)|Apr 13, 2021

Age of Information Optimization参考文献 15被引用数 5

ひとこと要約

本論文は、継続的マルコフ決定過程（MDP）における長期的平均報酬を最適化するために、関数近似とR学習を統合した新しい深層強化学習（DRL）フレームワークを提案する。これは、割引累積報酬を目的として設計された従来のDRLアルゴリズムが有する制限を克服するものであり、特別な状態や条件依存の更新を必要とせず、安定的かつ高性能な学習を達成する。実験では収束性が優れており、分散が低減されていることが確認された。

ABSTRACT

Recently, we have struck the balance between the information freshness, in terms of age of information (AoI), experienced by users and energy consumed by sensors, by appropriately activating sensors to update their current status in caching enabled Internet of Things (IoT) networks [1]. To solve this problem, we cast the corresponding status update procedure as a continuing Markov Decision Process (MDP) (i.e., without termination states), where the number of state-action pairs increases exponentially with respect to the number of considered sensors and users. Moreover, to circumvent the curse of dimensionality, we have established a methodology for designing deep reinforcement learning (DRL) algorithms to maximize (resp. minimize) the average reward (resp. cost), by integrating R-learning, a tabular reinforcement learning (RL) algorithm tailored for maximizing the long-term average reward, and traditional DRL algorithms, initially developed to optimize the discounted long-term cumulative reward rather than the average one. In this technical report, we would present detailed discussions on the technical contributions of this methodology.

研究の動機と目的

• 従来のDRLアルゴリズムが割引累積報酬を目的として設計されているのに対し、継続的MDPにおける長期的平均報酬最適化という課題に、根本的な理論的差異が存在するため、その課題に対処する。
• 多数のセンサーやユーザーを有する大規模なIoTネットワークにおける次元の呪いを克服し、スケーラブルで関数近似と互換性のある学習を可能にする。
• 終端状態や特別な状態選択に依存しない安定性と収束性を維持しながら、平均報酬を最大化するDRLフレームワークを開発する。
• 深層ニューラルネットワークとの互換性を確保するため、バッチベースの平均報酬更新を効率的に行えるように、基本的なR学習を変更する。
• 連続的かつ非終了的な環境における平均報酬タスクに、理論的に妥当で実験的に安定した、既存のDRLアルゴリズムの代替案を提供する。

提案手法

• 平均報酬最大化を目的とした表形式の強化学習アルゴリズムR学習を、高次元の状態行動空間への適用を可能とする深層Qネットワークと統合する。
• 割引率を含まない形で価値関数とベルマン最適性方程式を再設計し、平均報酬学習における有限かつ意味のある更新を保証する。
• 平均報酬の更新プロセスを安定化させるために、更新頻度を低くしたターゲットネットワークを導入し、変化するターゲットを追跡することによる不安定性を防止する。
• 基本的なR学習では、グリーディ行動が選択された場合にのみ平均報酬を更新する条件付き更新を、データ効率性と学習安定性の向上を目的にバッチベースの更新に置き換える。
• DRL学習におけるターゲット値計算を、平均報酬の目的に適合させるために、損失関数に更新されたR学習ダイナミクスを組み込む。
• 二重学習率メカニズムを導入：行動価値関数（R(s,a)）の更新に一つの学習率、平均報酬推定値（Ũ(k)）の更新に別の学習率を用い、それぞれの収束ダイナミクスを別々に制御する。

実験結果

リサーチクエスチョン

• RQ1 なぜ継続的MDPにおいて、割引累積報酬の最大化と長期的平均報酬の最大化は根本的に異なるのか？
• RQ2 なぜ平均報酬設定におけるDRLとの統合において、RVI Q学習よりもR学習が理論的および実用的により適しているのか？
• RQ3 高次元空間における深層ニューラルネットワークの関数近似と互換性を持つように、基本的なR学習をどのように変更できるか？
• RQ4 DRLベースの平均報酬学習において、安定性とデータ効率性を確保するために、平均報酬更新ルールに必要な変更は何か？
• RQ5 提案されたR学習ベースのDRLフレームワークは、特別な状態や条件チェックを必要とせず、大規模な継続的MDPにおいて安定的かつ収束的で分散が小さい学習を達成できるか？

主な発見

• 提案されたDDR-DSUアルゴリズムは、最後の10回の評価において平均報酬が-36.59、標準偏差が0.19にとどまり、高い安定性と収束性を示した。
• R学習とは異なり、平均報酬の更新がグリーディ行動が選択された場合にのみ行われるのに対し、本手法はバッチベースの更新を採用しており、データ効率性が向上し、無駄な経験の発生が回避された。
• ターゲットネットワークを用いて平均報酬の更新を計算することで、急激に変化するターゲット値を追跡することによる不安定性が回避され、訓練の安定性が顕著に向上した。
• RVI Q学習とは異なり、平均報酬推定のための特別な状態の選択を必要としないため、DRL応用においてより実用的であることが示された。
• 理論的分析により、割引率γが1に近づく場合を除き、標準的なDRLアルゴリズムが割引累積報酬を最適化するのと平均報酬最大化が同等ではないことが確認された。
• R学習とDRLの統合により、エネルギーと情報の新鮮さのトレードオフを伴うキャッシュ対応IoTネットワークの事例を通じて、大規模な継続的MDPにおいて安定的かつスケーラブルな学習が実現された。