[論文レビュー] Particle Value Functions

Chris J. Maddison, Dieterich Lawson+5 more|arXiv (Cornell University)|Mar 16, 2017

Complex Systems and Time Series Analysis被引用数 8

ひとこと要約

本論文は、粒子フィルタを用いて指数的効用に基づく価値関数を近似するリスクセンシティブ強化学習の目的関数であるパーティクル価値関数（PVF）を導入する。この手法により、高い分散を示す環境でもより安定した方策勾配学習が可能になる。Cliffworldでは、β=1.0およびK=3のパーティクルを用いたPVFが、標準的なREINFORCEおよびVIMCOが失敗した状況でも、まれな高報酬経路の探索を可能にし、タスクの達成を偶発的に達成した。

ABSTRACT

The policy gradients of the expected return objective can react slowly to rare rewards. Yet, in some cases agents may wish to emphasize the low or high returns regardless of their probability. Borrowing from the economics and control literature, we review the risk-sensitive value function that arises from an exponential utility and illustrate its effects on an example. This risk-sensitive value function is not always applicable to reinforcement learning problems, so we introduce the particle value function defined by a particle filter over the distributions of an agent's experience, which bounds the risk-sensitive one. We illustrate the benefit of the policy gradients of this objective in Cliffworld.

研究の動機と目的

• まれな高報酬経路が重要となる状況において、期待報酬の最適化が遅延する問題に対処すること。
• 指数的効用に基づくリスクセンシティブ価値関数のスケーラブルで数値的に安定した代替手法を開発すること。実際の応用では、このアプローチは不安定または高い分散を示すことがある。
• これらの結果がまれであっても、リスク志向性に応じて低報酬または高報酬を強調できるように、強化学習エージェントを設計すること。
• 無限サンプル極限においては元のリスクセンシティブ価値関数に収束するが、同時にその境界を保証する手法を設計すること。非線形関数近似を用いた大規模強化学習に適していること。

提案手法

• K個のパーティクルを用いて状態-行動経路を表す、パーティクル価値関数（PVF）を提案。このPVFは、リスクセンシティブ価値関数を近似する。
• PVFをK個の独立なモンテカルロシミュレーションの有限和として定義。価値は、全報酬の指数の期待値の対数をβで割った逆数として計算される。
• 報酬分布を表すためにブートストラップ粒子フィルタを用い、完全な分布推論を必要とせずに、リスクセンシティブな目的関数の効率的推定を可能にする。
• PVF目的関数に対して方策勾配を適用し、分散低減のための制御変数を用いる。REINFORCEおよびVIMCOのベースラインと比較する。
• 有限時限タスクをモデル化するために、時間依存パラメータを持つ非定常な方策パラメータ化を導入。
• β=0の場合は修正されたREINFORCE推定器を、β≠0の場合はVIMCO風の制御変数を用い、それぞれのケースに特化したベースライン関数を別々に使用。

実験結果

リサーチクエスチョン

• RQ1 まれな高報酬経路に注目するリスクセンシティブ価値関数が、高い報酬分散を示す環境における方策勾配の収束を改善できるか？
• RQ2 非線形関数近似を用いた大規模強化学習において、指数的効用に基づくリスクセンシティブ価値関数を信頼性高く近似する方法は何か？
• RQ3 リスクセンシティブ価値関数のパーティクルベース近似は、VIMCO や REINFORCE といった既存手法を上回る性能を示すか？
• RQ4 リスク志向性（β）およびパーティクル数（K）が、方策勾配が低確率の高報酬経路を発見する能力に与える影響は何か？

主な発見

• Cliffworldでは、β=1.0およびK=3のパーティクルを用いたPVFが、同じ設定でタスクを達成できなかったREINFORCEおよびVIMCOとは異なり、偶発的にタスクを達成した。
• β=1.0およびK=3の条件下で、PVFは一部の実行でCliffworldを解決したが、VIMCOはその達成に失敗した。これは、PVFがまれな高報酬経路の探索において優位であることを示している。
• Cliffworldにおけるグローバル最適解への吸引域は、βの増加に伴い拡大した。これは、リスク志向性の高い行動が非凸な報酬ランドスケープにおいて収束性を向上させられることを示している。
• VIMCOはタスクを達成できた後はPVFよりも信頼性が高かったが、同じ条件（K=3、β=1.0）でPVFが成功したのに対し、VIMCOは失敗した。
• 期待報酬に基づく標準的なREINFORCEアルゴリズムは、Cliffworldの変種では一度もタスクを達成しなかった。これは、スパarsな報酬設定においてリスクニュートラルな目的関数の限界を示している。
• PVF目的関数は数値的に安定しており、直接的な指数的効用推定の不安定性を回避するため、大規模強化学習に適している。