[論文レビュー] Multi-Objective SPIBB: Seldonian Offline Policy Improvement with Safety Constraints in Finite MDPs

Harsh Satija, Philip S. Thomas+2 more|arXiv (Cornell University)|May 31, 2021

Sepsis Diagnosis and Treatment参考文献 53被引用数 5

ひとこと要約

本稿では、複数の目的関数および安全制約の下で高い確率で性能保証を達成する、Seldonianなオフライン強化学習手法であるMulti-Objective SPIBBを提案する。この手法は、ユーザーが指定するトレードオフを反映した複数の報酬関数を扱えるように、安全な方策反復法（SPIBB）を拡張し、合成タスクおよび重症ケアタスクにおいて、データ効率と安全性の両面で優れた性能を示した。

ABSTRACT

We study the problem of Safe Policy Improvement (SPI) under constraints in the offline Reinforcement Learning (RL) setting. We consider the scenario where: (i) we have a dataset collected under a known baseline policy, (ii) multiple reward signals are received from the environment inducing as many objectives to optimize. We present an SPI formulation for this RL setting that takes into account the preferences of the algorithm's user for handling the trade-offs for different reward signals while ensuring that the new policy performs at least as well as the baseline policy along each individual objective. We build on traditional SPI algorithms and propose a novel method based on Safe Policy Iteration with Baseline Bootstrapping (SPIBB, Laroche et al., 2019) that provides high probability guarantees on the performance of the agent in the true environment. We show the effectiveness of our method on a synthetic grid-world safety task as well as in a real-world critical care context to learn a policy for the administration of IV fluids and vasopressors to treat sepsis.

研究の動機と目的

• 環境との相互作用が高コストまたは高リスクであるオフライン強化学習設定において、安全で複数目的の方策改善の課題に取り組む。
• 改善された方策がすべての目的関数において、行動方策（behavior policy）の性能を下回らないように保証する。
• 有限サンプル設定における高確率性能保証を提供し、外挿誤差や目的関数の不整合に関する懸念に対処する。
• ドメインの専門知識を必要とせず、ユーザーが好みのパラメータを用いて、矛盾する目的関数間のトレードオフを制御可能にする。
• 理論的裏付けが強く、医療分野を含む実世界の応用に実用的かつ容易に導入可能な手法を開発する。

提案手法

• Seldonianフレームワークをオフラインで複数目的強化学習に適応させ、性能劣化に関する制約が高確率で満たされるように保証する。
• ユーザーが指定する好みの重みを組み込むことで、複数の報酬関数を扱えるように、安全な方策反復法（SPIBB）を拡張する。
• オフラインデータセットにおける方策の性能と制約を、分散を低減した重み付き二重ロバスト（WDR）推定器を用いて評価する。
• 最適化問題を、方策がすべての目的関数において行動方策を下回らないことを保証する制約付き多目的計画問題として定式化する。
• 統計的境界を用いて制約の検証と方策改善を交互に繰り返す安全な方策反復ループを適用する。
• オフライン方策評価におけるサンプル効率の向上と過剰推定バイアスの低減を図るため、ベースラインブートストラップを統合する。

実験結果

リサーチクエスチョン

• RQ1 行動方策に対する性能に関する高確率保証を維持しつつ、安全な方策改善をオフライン複数目的強化学習に拡張することは可能か？
• RQ2 矛盾する目的関数に対するユーザーの好みを、安全でオフラインの方策学習フレームワークにどのように統合できるか？
• RQ3 提案手法は、既存の線形スカラー化法や制約なしオフラインRLベースラインと比較して、より優れたデータ効率と制約満たしを達成するか？
• RQ4 医療分野のような高リスク分野において、安全性と性能保証が不可欠な状況で、本手法は実用的かつ容易に導入可能か？
• RQ5 異なる好みの重みが、主目的と副目的の間のトレードオフにどのように影響を与え、かつすべての目的関数で性能劣化が生じないかを保証するか？

主な発見

• 提案されたMulti-Objective SPIBB手法は、すべての目的関数において行動方策を下回らないという高確率保証を達成した。
• 合成グリッドワールドタスクでは、特に高い安全制約下でも、線形スカラー化ベースラインと比較して優れたデータ効率を示した。
• 敗血症治療タスクでは、生存率を97.68 ± 0.22まで向上させるとともに、レア治療の使用率を27.64 ± 1.11で維持し、ベースライン手法を上回った。
• 本手法は制約違反を効果的に防止した。全テスト設定において、どの目的関数に対しても行動方策の性能を下回るような劣化は観測されなかった。
• ユーザーの好み$[\lambda_0=1.0, \lambda_1=0.0]$の下で、生存報酬は97.68 ± 0.22、レア治療報酬は27.64 ± 1.11を達成し、主目的の最適化を強力に実現しながらも、安全性を損なわなかった。
• 高い安全閾値（$\delta=0.9$）下でも、本手法は制約の満たしを維持し、複数回のテストデータのランダムな分割においても、性能劣化は観測されなかった。