[論文レビュー] Markov Decision Processes of the Third Kind: Learning Distributions by Policy Gradient Descent

Nicole Bäuerle, Athanasios Vasileiadis|arXiv (Cornell University)|Feb 6, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

論文は分布型MDP（第3種のMDP）と、拡張状態空間上の特徴関数損失を用いて終端報酬の分布をターゲット分布へ導く確率的ポリシー勾配アルゴリズムを提案する。ランダム化マルコフポリシーを学習するモデルフリー法。

ABSTRACT

The goal of this paper is to analyze distributional Markov Decision Processes as a class of control problems in which the objective is to learn policies that steer the distribution of a cumulative reward toward a prescribed target law, rather than optimizing an expected value or a risk functional. To solve the resulting distributional control problem in a model-free setting, we propose a policy-gradient algorithm based on neural-network parameterizations of randomized Markov policies, defined on an augmented state space and a sample-based evaluation of the characteristic-function loss. Under mild regularity and growth assumptions, we prove convergence of the algorithm to stationary points using stochastic approximation techniques. Several numerical experiments illustrate the ability of the method to match complex target distributions, recover classical optimal policies when they exist, and reveal intrinsic non-uniqueness phenomena specific to distributional control.

研究の動機と目的

• 目的は、期待値やリスク関数を最適化するのではなく、終端報酬の分布を所定の法則へ steering する distributional MDP を形式化・動機づけること。
• 拡張状態空間上でニューラルネットワークを用いたランダム化マルコフポリシーをパラメータ化したモデルフリーのポリシー勾配アルゴリズムを提案すること。
• リフトアップされた分布型MDPと分布一致を測る特徴関数損失を定義し、勾配ベースの最適化を可能にすること。
• アルゴリズムの停止点への収束を穏やかな正則性仮定の下で確立すること。
• 数値実験を通じて複雑なターゲット分布への適合能力、適用可能な classical ポリシーの回復、分布型制御における非一意性現象の露呈を示すこと。

提案手法

• 拡張状態 (s, R) 上のリフトアップされた分布型MDP として制御問題を定式化する。ここで R は累積報酬。
• (s, R, z, t) を入力とし外部ノイズ z_t を用いて行動を出力するニューラルネットワークでランダイズドマルコフポリシーをパラメトライズする。
• サンプルベースの推定量で実現される、ターゲット特徴関数とポリシー誘導特徴関数の終端報酬のL2 加重損失を最小化する。
• フーリエ領域を離散化し、パスワイド導関数を用いてポリシーパラメータの勾配推定量を導出し、勾配降下更新を可能にする。
• 動力学・報酬・ニューラルネットワークの標準的な stochastic approximation 条件とリプシッツ性/正則性仮定の下で停止点へ収束することを証明する。

(a) Histogram

実験結果

リサーチクエスチョン

• RQ1 分布目的をリフトアップされた状態空間と特徴関数損失を用いてMDPに組み込む方法はどうあるべきか？
• RQ2 ニューラルネットワークポリシーを用いたモデルフリーのポリシー勾配アプローチは、分布一致目的に対して停止点へ収束し得るか？
• RQ3 提案アルゴリズムの安定性を保証する収束条件（正規性、成長、リプシッツ性）は何か？
• RQ4 本手法は複雑なターゲット分布にどの程度適合し、分布型最適制御における非一意性をどの程度明らかにできるか？

主な発見

• 分布型MDP のための拡張状態空間と特徴関数損失を用いたポリシー勾配アルゴリズムを提案。
• 穏やかな正規性・成長仮定の下で、アルゴリズムは確率的近似技術を用いて停止点へ収束する。
• 数値実験により、方法が複雑なターゲット分布に適合し、既存の classical ポリシーを回復する場合があることを示す。
• 分布型制御に特有の内在的な非一意性現象を露呈する。
• 従来の強化学習を拡張するリスク意識・分布指向の目的を扱える柔軟な枠組みである。

(b) Characteristic Function