[論文レビュー] Federated Offline Reinforcement Learning

Doudou Zhou, Yufeng Zhang+4 more|arXiv (Cornell University)|Jun 11, 2022

Blockchain Technology Applications and Security被引用数 4

ひとこと要約

本稿では、複数の医療機関における非同期強化学習を対象とした通信効率の高いアルゴリズムであるFederated Offline Dynamic Treatment Regime（FDTR）を提案する。この手法は、複数の医療機関用の線形MDPモデルを用いて、共通効果と機関特有効果を同時に学習する。1回の通信のみで集中学習と同等のサブ最適性を達成し、9つのICUを対象とした敗血症データセットにおいて優れた性能を示した。

ABSTRACT

Evidence-based or data-driven dynamic treatment regimes are essential for personalized medicine, which can benefit from offline reinforcement learning (RL). Although massive healthcare data are available across medical institutions, they are prohibited from sharing due to privacy constraints. Besides, heterogeneity exists in different sites. As a result, federated offline RL algorithms are necessary and promising to deal with the problems. In this paper, we propose a multi-site Markov decision process model that allows for both homogeneous and heterogeneous effects across sites. The proposed model makes the analysis of the site-level features possible. We design the first federated policy optimization algorithm for offline RL with sample complexity. The proposed algorithm is communication-efficient, which requires only a single round of communication interaction by exchanging summary statistics. We give a theoretical guarantee for the proposed algorithm, where the suboptimality for the learned policies is comparable to the rate as if data is not distributed. Extensive simulations demonstrate the effectiveness of the proposed algorithm. The method is applied to a sepsis dataset in multiple sites to illustrate its use in clinical settings.

研究の動機と目的

• 複数の医療機関に分散して存在する、共有できない電子的健康記録（EHR）から最適な動的治療規則（DTR）を学ぶ課題に対処すること。
• 多施設のEHRデータを直接集約できないデータプライバシー制約を克服しつつ、治療プロトコルや患者集団の機関レベルの異質性を適切に反映すること。
• 生データを共有せずに、要約統計量のみを用いて通信効率の高いアルゴリズムを設計し、複数機関間での協調的ポリシー学習を可能にすること。
• 構造的で多施設MDPモデルを用いて、逐次的臨床意思決定における共通（共通）効果と機関特異的（非共通）効果の両方の分析を可能にすること。
• 同一のモデル仮定のもとで集中学習の性能に匹敵するサブ最適性に関する理論的保証を提供すること。

提案手法

• 遷移核と報酬関数が既知の特徴写像に関して線形である多施設線形マーカフ決定過程（MDP）を定式化し、共通効果（ϕ₀）と機関特異的効果（ϕ₁）を含める。
• 双線形モデル構造を用いて価値関数を共通成分と機関特異的成分に分解し、グローバルおよびローカルのポリシー・パラメータを同時に推定可能にする。
• 通信は1ラウンドのみで行い、各機関間で要約統計量（例：勾配やモーメント推定値）を交換するフェデレーテッド・ポリシー最適化アルゴリズムを設計する。
• オフポリシー評価のためのステップ重要度サンプリング推定器を用い、各機関間で学習済みポリシーの不偏比較を可能にする。
• 施設規模やスタッフ比率などの施設レベルの共変量を共通成分に特徴として組み込み、機関の異質性をモデル化する。
• 正則化や縮小技術をモデル構造に内蔵することで、低サンプル数の状況下でも一般化性能を向上させ、過学習を低減する。

実験結果

リサーチクエスチョン

• RQ1 生データを共有せずに、複数の医療機関にまたがる動的治療規則を学習するフェデレーテッドなオフライン強化学習フレームワークは、有効に機能するか？
• RQ2 MDPモデルに機関特異的および共通効果を組み込むことで、均質的または機関特異的ベースラインと比較してポリシー性能がどのように向上するか？
• RQ3 提案された通信効率的で1ラウンド通信のみのアルゴリズムは、集中学習の性能をどの程度維持できるか？
• RQ4 施設レベルの共変量は、敗血症管理のような臨床的状況において、時間経過に伴い治療意思決定にどの程度影響を与えるか？
• RQ5 線形MDP仮定がわずかに破れても、特に各施設のデータ量が限られている状況で、モデルはどの程度ロバストであるか？

主な発見

• FDTRは、9つのICUをカバーする多施設敗血症データセットにおいて、すべてのベースライン手法を大きく上回る価値関数推定性能を示し、テストセットにおける平均価値関数推定値は0.87であった。
• 施設レベルの共変量（例：患者流入量）の推定係数は一貫して正であった。これは、同じ治療方針のもとで、患者流入量が多いケアユニットではより良好な結果が得られることを示唆している。
• 施設レベルの共変量が治療意思決定に与える影響は時間経過とともに減少した。これは、後段階の治療意思決定が、機関の特性よりも患者固有要因に強く依存していることを示している。
• 非線形基底関数を組み込んでも性能向上が得られなかった。これは、各施設のサンプル数が限られている状況下でバイアス-バリアンスのトレードオフが顕著になるためと考えられる。
• アルゴリズムは集中学習のサブ最適性率と同等の性能を達成した。これは、1回の通信のみでフェデレーテッド学習が学習効率を保持できることを示している。
• この手法は、個々の施設が限られたデータや偏った行動分布を持つ場合でも、機関間の異質な治療効果を的確に捉え、パーソナライズドなポリシー学習を可能にした。