[論文レビュー] Risk Aware and Multi-Objective Decision Making with Distributional Monte Carlo Tree Search

Conor F. Hayes, Mathieu Reymond+3 more|arXiv (Cornell University)|Feb 1, 2021

Reinforcement Learning in Robotics参考文献 38被引用数 6

ひとこと要約

本論文は、報酬の効用に関する事後分布を学習することで、リスクに配慮した多目的強化学習における意思決定を可能にする、新しいアルゴリズムである分布モンテカルロ木探索（DMCTS）を提案する。複数のポリシー実行から得られる効用値の分布に期待報酬を置き換えることで、特に非線形効用関数を伴う期待スカラライズド報酬（ESR）設定において、最先端の性能を達成する。

ABSTRACT

In many risk-aware and multi-objective reinforcement learning settings, the utility of the user is derived from the single execution of a policy. In these settings, making decisions based on the average future returns is not suitable. For example, in a medical setting a patient may only have one opportunity to treat their illness. When making a decision, just the expected return -- known in reinforcement learning as the value -- cannot account for the potential range of adverse or positive outcomes a decision may have. Our key insight is that we should use the distribution over expected future returns differently to represent the critical information that the agent requires at decision time. In this paper, we propose Distributional Monte Carlo Tree Search, an algorithm that learns a posterior distribution over the utility of the different possible returns attainable from individual policy executions, resulting in good policies for both risk-aware and multi-objective settings. Moreover, our algorithm outperforms the state-of-the-art in multi-objective reinforcement learning for the expected utility of the returns.

研究の動機と目的

• リスクに配慮した多目的強化学習において、期待報酬を用いる際の限界を克服すること。特に、単一のポリシー実行に基づく意思決定に起因する問題を解消すること。
• 全エピソード報酬の効用に関する事後分布を学習することで、蓄積済み報酬と将来の報酬を統合し、エージェントが最適な意思決定を可能にすること。
• 線形効用関数の近似が現実世界の人間の好みを正しく捉えられない場合に、多目的設定で非線形効用関数をサポートすること。
• モンテカルロ木探索（MCTS）を、決定論的および確率的環境における期待スカラライズド報酬（ESR）に対応できるように拡張すること。
• 未知または非線形な効用関数の下で、ESRにおける最適ポリシーのカバレッジ集合を学習する手法を提供すること。

提案手法

• DMCTSは、複数の個別ポリシーの実行を行い、各エピソードの報酬に対する効用を計算することで、報酬の効用に関するブートストラップ分布を学習する。
• アルゴリズムは、各MCTSノードにおける期待効用に関する事後分布を維持し、この分布を用いて木探索と行動選択をガイドする。
• 各完全なポリシー実行の総報酬に対して、既知のユーザー効用関数を適用することで、非線形効用効果を保持する。
• DMCTSは、木の展開とバックプロパゲーションの過程で、学習された事後分布からサンプリングするためのトンプソンサンプリングを、利益の最大化戦略として用いる。
• 標準的なMCTSを拡張し、価値推定を効用の分布的推定に置き換えることで、リスクに配慮した多目的計画を可能にする。
• 線形および非線形効用関数をサポートし、確率的報酬を伴う環境でも動作可能である。

実験結果

リサーチクエスチョン

• RQ1 非線形効用関数を伴う期待スカラライズド報酬（ESR）設定において、分布的MCTSアプローチが標準MCTSを上回る性能を発揮できるか？
• RQ2 期待未来報酬ではなく、全エピソード報酬に依存する効用の下で、エージェントが最適なポリシーを学習できるか？
• RQ3 未知または非線形な効用関数を伴う確率的環境において、ESR下での最適ポリシーのカバレッジ集合を学習することは可能か？
• RQ4 効用に関する事後分布を学習することで、期待報酬に依存する手法と比較して、リスクに配慮した設定での意思決定が改善されるか？
• RQ5 非線形で線形スカラライゼーションに適さない効用関数の下で、DMCTSは矛盾する目的間のトレードオフを効果的に扱えるか？

主な発見

• DMCTSは、期待スカラライズド報酬（ESR）基準下での多目的強化学習において、最先端の性能を達成し、既存手法を上回る。
• 非線形効用関数を伴う「危険な深海の宝物」環境では、DMCTSが図5に示すように、ターゲットベクトル r† における最適効用を効果的に学習した。
• アルゴリズムは効用結果の分布を効果的に捉えており、高分散で深刻な結果を引き起こす可能性のある状況を避けるリスクに配慮した意思決定を可能にする。
• DMCTSは、決定論的および確率的環境の両方で優れた性能を維持しており、報酬の不確実性に対して高いロバストネスを示している。
• 効用に関する事後分布を学習することで、期待報酬に依存する手法と比較して、特に非線形効用関数下でより優れたポリシー最適化が可能になる。
• 線形スカラライゼーションに失敗する非線形効用関数を効果的に処理でき、複雑な人間の好みを伴う現実世界の意思決定に適している。