[論文レビュー] Counterfactually Guided Policy Transfer in Clinical Settings

Taylor W. Killian, Marzyeh Ghassemi+1 more|arXiv (Cornell University)|Jun 20, 2020

Machine Learning in Healthcare参考文献 70被引用数 6

ひとこと要約

本論文は、ドメインシフトとデータ不足の下で、臨床現場におけるオフポリシー強化学習のための反事後正則化手法を提案する。データ豊富なソースドメインを活用して情報豊富な反事後サンプルを生成し、ソースポリシーとのKLダイバージェンスを用いてターゲットポリシーを正則化することで、模擬セプシス状況における治療ポリシー転移性能が顕著に向上する。

ABSTRACT

Reliably transferring treatment policies learned in one clinical environment to another is currently limited by challenges related to domain shift. In this paper we address off-policy learning for sequential decision making under domain shift -- a scenario susceptible to catastrophic overconfidence -- which is highly relevant to a high-stakes clinical settings where the target domain may also be data-scarce. We propose a two-fold counterfactual regularization procedure to improve off-policy learning, addressing domain shift and data scarcity. First, we utilize an informative prior derived from a data-rich source environment to indirectly improve drawing counterfactual example observations. Then, these samples are then used to learn a policy for the target domain, regularized by the source policy through KL-divergence. In simulated sepsis treatment, our counterfactual policy transfer procedure significantly improves the performance of a learned treatment policy.

研究の動機と目的

• データ豊富な臨床環境からデータ不足のターゲットドメインへ治療ポリシーを転移する課題に対処すること。
• 高いリスクを伴う臨床的条件下におけるオフポリシー学習での深刻な過信の回避。
• 反事後推論とソースドメインの事前知識を活用することで、ターゲットドメインにおけるポリシー一般化を向上させること。
• 反事後サンプリングとソースポリシーからのKLダイバージェンス蒸留を組み合わせた正則化フレームワークの開発。

提案手法

• ターゲットドメインのための情報豊富な反事後例を生成するために、データ豊富なソース環境を活用する。
• 結果の一貫性を保ちながら、ソースポリシーのトラジェクトリの行動を摂動することで反事後観測を構築する。
• これらの反事後サンプルを用いてターゲットポリシーを訓練し、耐性と一般化能力を向上させる。
• ソースポリシーとのKLダイバージェンスを用いてターゲットポリシーを正則化し、有益な行動パターンを維持する。
• 臨床治療ポリシーのための逐次的意思決定フレームワークにこの手法を適用する。
• 転移性能の評価を目的とした、模擬セプシス治療環境でのアプローチの評価。

実験結果

リサーチクエスチョン

• RQ1 反事後正則化は、ドメインシフトとデータ不足の下での臨床的状況におけるオフポリシー学習を改善できるか？
• RQ2 データ豊富なソースドメインを用いて反事後例を生成することで、データ不足のターゲットドメインへのポリシー転移がどのように向上するか？
• RQ3 ソースポリシーとのKLダイバージェンス正則化は、ターゲットポリシーにおける深刻な過信をどの程度軽減できるか？
• RQ4 提案手法は、模擬臨床治療シナリオにおける標準的なオフポリシー学習ベースラインを上回るか？

主な発見

• 反事後ポリシー転移手順により、模擬セプシス環境における学習済み治療ポリシーの性能が顕著に向上した。
• データ豊富なソースドメインから導出された反事後例の使用が、ターゲットドメインにおけるポリシー一般化を向上させた。
• ソースポリシーとのKLダイバージェンス正則化が、過信の低減とオフポリシー学習の安定性向上に効果を発揮した。
• 本手法はドメインシフトとデータ不足の両方に対して頑健であり、実臨床応用における主な課題に対応していた。