[論文レビュー] Risk Sensitive Dead-end Identification in Safety-Critical Offline Reinforcement Learning

Taylor W. Killian, Sonali Parbhoo+1 more|arXiv (Cornell University)|Jan 13, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、安全上のリスクが極めて高いオффライン強化学習において、期待報酬の確率分布をモデル化することで、最悪事態の早期かつ調整可能な検出を可能にする、リスク感受性の高いフレームワークであるDistributional Dead-end Discovery (DistDeD) を提案する。DistDeD は、従来手法に比べて平均して10時間早くデッドエンドを検出でき、ICU患者のリスク評価において検出率を20%向上させる。

ABSTRACT

In safety-critical decision-making scenarios being able to identify worst-case outcomes, or dead-ends is crucial in order to develop safe and reliable policies in practice. These situations are typically rife with uncertainty due to unknown or stochastic characteristics of the environment as well as limited offline training data. As a result, the value of a decision at any time point should be based on the distribution of its anticipated effects. We propose a framework to identify worst-case decision points, by explicitly estimating distributions of the expected return of a decision. These estimates enable earlier indication of dead-ends in a manner that is tunable based on the risk tolerance of the designed task. We demonstrate the utility of Distributional Dead-end Discovery (DistDeD) in a toy domain as well as when assessing the risk of severely ill patients in the intensive care unit reaching a point where death is unavoidable. We find that DistDeD significantly improves over prior discovery approaches, providing indications of the risk 10 hours earlier on average as well as increasing detection by 20%.

研究の動機と目的

• 探索が不可能でデータが限られる安全上のリスクが極めて高いオフライン強化学習における最悪事態の検出という課題に対処すること。
• 期待報酬の点推定に依存する従来のデッドエンド発見（DeD）手法の限界を克服すること。点推定は楽観的になりやすく、リスク分布を捉えきれないことがある。
• 報酬結果の全分布をモデル化することで、早期で調整可能かつ慎重なリスク指標を提供するフレームワークの開発。
• 臨床的・産業的現場において、不可逆的悪化が生じる前に人間のオペレータが能動的に介入できるようにすること。

提案手法

• 本手法は、分布的強化学習（DrQ）を用いて、各状態における各行動の期待報酬の全分布をモデル化し、点推定を学習済みの報酬分布に置き換える。
• 報酬分布の下側尾部、特に最悪事態に着目したリスク感受性の指標を計算することで、デッドエンドに至るおそれのある状態を同定する。
• タスク固有のリスク許容度に応じて調整可能なリスク閾値を導入し、保守的または能動的な検出戦略を可能にする。
• 理論的裏付けとして、リスク推定が元のDeD手法の下界であることを示し、安全性の保証を維持しながら感度を向上させることを示す。
• 本手法は、玩具環境と実世界のICUデータセットの両方へ適用され、オンライン相互作用を必要とせず、オフラインデータセットを用いてモデルを学習・評価する。
• デッドエンド検出は、任意の行動における最悪事態の報酬分布が安全閾値を下回るかどうかを評価することで実施され、システム障害または患者の悪化の兆候を示す。

Figure 1 : Illustration of the determination of conditional value at risk ( $\mathrm{CVaR}_{\alpha}$ ), with $\alpha=0.1$

実験結果

リサーチクエスチョン

• RQ1 期待報酬の全分布をモデル化することで、安全上のリスクが極めて高いオフライン強化学習における最悪事態の早期検出が向上するか？
• RQ2 点推定に基づく手法と比較して、分布的リスク推定は、不可逆的悪化の前に対象を検出できるか？
• RQ3 本フレームワークは、高リスク環境における信頼性を維持しつつ、異なるリスク許容度に適応できる程度まで調整可能か？
• RQ4 実世界の臨床データにおいて、DistDeD は既存手法よりも、システム障害や患者の悪化を早期に検出できるか？

主な発見

• ICU患者モニタリングにおいて、DistDeD は従来のデッドエンド発見手法に比べ、平均して10時間も早く高リスク状況を検出できる。
• ベースライン手法と比較して、予期しないデッドエンドの検出率が20%向上し、最悪事態への感度が向上した。
• 報酬の全分布をモデル化することで、臨床的・産業的セーフティ要件に合わせてカスタマイズ可能な調整可能なリスク感受性フレームワークを提供する。
• 分布的アプローチから導出されたリスク推定は、元のDeD手法の理論的下界として機能し、安全性の保証が維持されることを示している。
• 合成データおよび実世界のICUデータの両方において、データが限られ、交絡要因がある状況でも、患者の結果が不可逆的に悪化する可能性がある状態を効果的に同定できた。
• 本フレームワークは意思決定支援ツールとして実用的であることが示され、オンライン探索を必要とせず、安全上のリスクが極めて高いシステムにおける早期の人間介入を可能にした。

Figure 2 : Distributional Dead-end Discovery (DistDeD) a) Observations are encoded (as needed) into a state representation and then b) passed to independent IQN models to estimate the distribution of returns ( $Z_{D}$ and $Z_{R}$ ) for each possible action. c) The $\mathrm{CVaR}_{\alpha}$ is compute