[論文レビュー] Model-Free Risk-Sensitive Reinforcement Learning

Grégoire Delétang, Jordi Grau-Moya+5 more|arXiv (Cornell University)|Nov 4, 2021

Gene Regulatory Network Analysis被引用数 2

ひとこと要約

本稿では、TD誤差の過小または過大評価を示すシグモイド型ソフトインジケータを用いてRescorla-Wagner則を変更することで、リスクセンシティブ強化学習のためのモデルフリーな時系列学習ルールを提案する。主な貢献は、正規分布の仮定のもとで、このルールの固定点が自由エネルギーに正確に一致することであり、逆温度パラメータβによってリスク回避的からリスク求愛的へと変化するリスクセンシティブな確実性同等値であることを示している。

ABSTRACT

We extend temporal-difference (TD) learning in order to obtain risk-sensitive, model-free reinforcement learning algorithms. This extension can be regarded as modification of the Rescorla-Wagner rule, where the (sigmoidal) stimulus is taken to be either the event of over- or underestimating the TD target. As a result, one obtains a stochastic approximation rule for estimating the free energy from i.i.d. samples generated by a Gaussian distribution with unknown mean and variance. Since the Gaussian free energy is known to be a certainty-equivalent sensitive to the mean and the variance, the learning rule has applications in risk-sensitive decision-making.

研究の動機と目的

• リスクセンシティブ強化学習における自由エネルギーを推定するモデルフリーなアルゴリズムが長年にわたり欠落しているという問題に取り組むこと。
• 環境のモデルを必要とせず、リスクセンシティブな行動を誘導できるシンプルで実装可能な学習ルールを提供すること。
• 報酬分布が正規分布に従う場合に、このルールが自由エネルギーに理論的に収束することを確立すること。
• 実験的に、このルールが直感的な期待に一致するリスク回避的、リスクニュートラル、リスク求愛的ポリシーを生成することを示すこと。

提案手法

• TD誤差δがターゲットを過小または過大に評価する場合に活性化する、ソフトシグモイド関数σβ(δ)で二値の刺激インジケータを置き換えることで、Rescorla-Wagner則を再解釈する。
• リスクセンシティブなTD(0)更新式を導出：V(s) ← V(s) + 2α·σβ(δ)·δ、ここでδ = R(s) + γV(s′) − V(s)。
• ソフトインジケータσβ(δ)は、正規分布の対数パーティション関数の微分として定義され、βの符号に敏感である。
• 報酬分布が正規分布である場合、期待される更新ダイナミクスの固定点が自由エネルギーFβに一致することを証明する。
• σβ(δ)項にストップグラデントを適用することで、このルールをディープRLに適応させ、既存のディープQネットワークへの統合を可能にする。
• テーブル型およびディープRLの環境（バンディットタスクやR2D2ベースのエージェントを含む）でルールを検証する。

実験結果

リサーチクエスチョン

• RQ1 未知の分布のもとで、モデルフリーなTD(0)型アルゴリズムが自由エネルギーを推定できるか？
• RQ2 報酬分布が正規分布である場合、提案された学習ルールが自由エネルギーに収束するか？
• RQ3 逆温度βの値が、リスク態度の観点からポリシー行動にどのように影響を与えるか？
• RQ4 このルールは、トレーニングの安定性やパフォーマンスを損なわずにディープRLフレームワークに統合可能か？
• RQ5 異なるβ値を持つエージェントが支払うリスクプレミアムの定性的および定量的差異は何か？

主な発見

• Lemma 1で示されるように、報酬分布が正規分布である場合、提案された学習ルールは正確に自由エネルギーFβに収束する。
• このルールは、単調なリスク態度を正しく誘導する：β < 0 ではリスク回避的ポリシー、β > 0 ではリスク求愛的ポリシーが得られ、β = 0 では標準的なリスクニュートラルなTD(0)に還元される。
• バンディット実験では、リスク回避的エージェント（β = -1, -0.5）が、危険なアームのパラメータにのみ依存する広範な確率的選択行動を示し、敵対的環境の仮定を支持する。
• リスク求愛的エージェント（β > 0）はより高いリスクプレミアムを支払う傾向にあり、その無差別曲線はリスクニュートラル曲線よりも上方にシフトする。
• リスクニュートラルエージェント（β = 0）は、トレーニング中のノイズの多い探索のおかげでわずかにリスク回避的であるように見え、実験的評価において潜在的な交絡要因を示唆している。
• このルールはディープRLへの適応が容易であり、R2D2エージェントの損失関数にσβ(δ)項にストップグラデントを適用することで、リスクセンシティブな価値推定を伴う安定なトレーニングが可能であることが実証された。