[論文レビュー] Optimizing for the Future in Non-Stationary MDPs

Yash Chandak, Georgios Theocharous+4 more|arXiv (Cornell University)|May 17, 2020

Advanced Bandit Algorithms Research参考文献 66被引用数 8

ひとこと要約

この論文では、反事後的推定と曲線適合を用いてポリシー性能の傾向を予測することで、非定常マルコフ決定過程（NS-MDP）において将来のパフォーマンスを能動的に最適化するポリシーグラデントアルゴリズム、Prognosticatorを提案する。適合されたパフォーマンス傾向に基づいて過去のデータを非一様に再重み付けすることにより、性能の遅れを低減し、3つのシミュレートされた非定常環境においてオンライン適応手法を上回る性能を達成する。

ABSTRACT

Most reinforcement learning methods are based upon the key assumption that the transition dynamics and reward functions are fixed, that is, the underlying Markov decision process is stationary. However, in many real-world applications, this assumption is violated, and using existing algorithms may result in a performance lag. To proactively search for a good future policy, we present a policy gradient algorithm that maximizes a forecast of future performance. This forecast is obtained by fitting a curve to the counter-factual estimates of policy performance over time, without explicitly modeling the underlying non-stationarity. The resulting algorithm amounts to a non-uniform reweighting of past data, and we observe that minimizing performance over some of the data from past episodes can be beneficial when searching for a policy that maximizes future performance. We show that our algorithm, called Prognosticator, is more robust to non-stationarity than two online adaptation techniques, on three simulated problems motivated by real-world applications.

研究の動機と目的

• 環境のダイナミクスや報酬が時間とともに変化する現実世界の強化学習応用において、非定常性が引き起こすパフォーマンスの遅れを解消すること。
• 変化が発生した後に反応するのでなく、将来に効果的なポリシーを能動的に探索する手法を開発すること。
• 下位の非定常ダイナミクスや報酬シフトを明示的にモデル化することなく、データ効率の良いポリシー最適化を可能にすること。
• 定常設定では標準的なポリシーグラデント手法と互換性を保ちつつ、非定常設定でのロバストネスを向上させること。

提案手法

• 過去のエピソードからの軌道を用いて反事後的推論により過去のポリシー性能を推定する。
• 単変量回帰曲線（最小二乗法または加重最小二乗法を用いて）を用いて、時間経過に伴うポリシー性能の傾向をモデル化する。
• 予測された将来のパフォーマンスをポリシーパラメータに関して微分し、ポリシー最適化のための勾配を計算する。
• 適合されたパフォーマンス傾向に基づいて過去のデータを非一様に再重み付けし、過去のパフォーマンスの最小化が将来の予測を改善できるようにする。
• 時間依存のパフォーマンス傾向をモデル化するために基底関数（フーリエまたは多項式）を用い、次元はハイパーパramータサーチにより調整する。
• PPOなどのポリシーグラデントフレームワークに統合し、安定性を確保するために重要度サンプリングとクリッピングを用いる。

実験結果

リサーチクエスチョン

• RQ1 非定常ダイナミクスをモデル化せずに、非定常MDPにおいて将来のパフォーマンスを予測・最適化できるポリシーグラデント手法を設計できるか？
• RQ2 パフォーマンス傾向に基づいて過去のデータを非一様に再重み付けすることで、動的環境における将来のポリシー最適化にどのような影響を与えるか？
• RQ3 提案手法は、非定常設定におけるオンライン適応手法と比較して、どの程度パフォーマンスの遅れを低減できるか？
• RQ4 非定常環境における探索と活用のバランスを制御するハイパーパramータに、この手法はどの程度感受性を示すか？
• RQ5 定常環境では、この手法が標準的なポリシーグラデントに滑らかに退化するか？

主な発見

• Prognosticatorは、レコメンデーションシステム、ゴール・リーチャー環境、糖尿病治療シミュレーションの3つの非定常環境において、FTRL-PG や ONPG よりも顕著にパフォーマンスの遅れを低減する。
• 特に、真の報酬ダイナミクスが観測可能な非定常レコメンデーションシステムにおいて、手法のパフォーマンスは時間経過に伴う最大達成報酬の傾向をよく追跡する。
• 線形基底関数に比べ、フーリエまたは多項式基底関数を用いた傾向モデル化が優れた性能を示し、柔軟性に欠ける線形基底関数よりも優れている。
• 変化するダイナミクスを明示的にモデル化しないまま、すべての過去のエピソードを活用することでデータ効率を維持し、明確な変化のモデル化なしに安定した最適化を達成する。
• 定常設定では、Prognosticatorは標準的なポリシーグラデントに退化し、非定常性が存在しない場合にはパフォーマンスに損失がないことを保証する。
• 探索と活用のバランスを制御するハイパーパramータに感受性を示すため、非定常環境では慎重なチューニングが求められる。