[论文解读] An Empirical Study of Representation Learning for Reinforcement Learning in Healthcare

Taylor W. Killian, Haoran Zhang+3 more|arXiv (Cornell University)|Nov 23, 2020

Machine Learning in Healthcare参考文献 45被引用 12

一句话总结

本文利用MIMIC-III数据集中的顺序患者数据，研究了强化学习在医疗保健领域的表示学习。它评估了七种编码架构，以学习能提升离线、批量强化学习设置下策略学习的患者状态表示，发现具有顺序结构的表示——尤其是基于神经CDE的方法——能够更有效地学习治疗策略，同时保持与临床严重程度评分的相关性。

ABSTRACT

Reinforcement Learning (RL) has recently been applied to sequential estimation and prediction problems identifying and developing hypothetical treatment strategies for septic patients, with a particular focus on offline learning with observational data. In practice, successful RL relies on informative latent states derived from sequential observations to develop optimal treatment strategies. To date, how best to construct such states in a healthcare setting is an open question. In this paper, we perform an empirical study of several information encoding architectures using data from septic patients in the MIMIC-III dataset to form representations of a patient state. We evaluate the impact of representation dimension, correlations with established acuity scores, and the treatment policies derived from them. We find that sequentially formed state representations facilitate effective policy learning in batch settings, validating a more thoughtful approach to representation learning that remains faithful to the sequential and partial nature of healthcare data.

研究动机与目标

• 探究不同表示学习架构对离线强化学习中脓毒症治疗策略学习的影响。
• 评估表示维度对预测准确率和策略性能的影响。
• 评估在表示学习过程中引入人口统计学特征及临床严重程度评分（SOFA、SAPS II、OASIS）是否能提升表示质量及下游策略学习效果。
• 确定顺序学习的表示是否比静态或非顺序编码更能捕捉患者状态动态。
• 在使用批量数据的真实世界医疗强化学习场景中，对状态表示进行严谨的实证评估。

提出的方法

• 训练七种信息编码架构（AE、AIS、CDE、DDM、DST、ODE-RNN、RNN-AE），从顺序生理和人口统计学特征中学习低维患者状态表示。
• 使用自编码作为辅助任务，从过去观测中重建未来的生理观测（SO），以优化表示质量。
• 通过多任务损失目标，对表示进行正则化，使其与既有的临床严重程度评分（SOFA、SAPS II、OASIS）保持相关性。
• 使用dBCQ（离散化批量约束Q学习）在编码后的状态表示上训练治疗策略，各方法的超参数均独立调优。
• 使用加权重要性采样（WIS）在保留的测试集上评估策略性能，比较不同表示方法的回报表现。
• 通过主成分分析（PCA）可视化表示，按SOFA评分和结局（存活与死亡）对轨迹着色，并用连线连接初始与最终观测，以追踪患者演变过程。

实验结果

研究问题

• RQ1 表示维度如何影响未来生理观测重建的准确性以及下游强化学习策略的性能？
• RQ2 在表示学习过程中包含人口统计学特征在多大程度上能提升患者状态表示的质量？
• RQ3 所学表示与既有的临床严重程度评分（SOFA、SAPS II、OASIS）的相关性如何？
• RQ4 哪种表示学习架构在脓毒症治疗的批量强化学习设置中能实现最有效的策略学习？
• RQ5 顺序结构表示是否能比非顺序或自编码基线更好地捕捉患者轨迹动态？

主要发现

• 当潜在维度超过某一临界点后，预测准确率反而下降，表明高容量表示并不总是更具信息量。
• 在所有架构中，表示学习过程中引入人口统计学特征均一致提升了未来生理观测预测的性能。
• 通过神经CDE（Neural Controlled Differential Equations）学习到的表示实现了最有效的治疗策略学习，在基于WIS的评估中优于其他架构。
• 将临床严重程度评分作为正则化目标显著提高了所学表示与SOFA、SAPS II和OASIS评分之间的相关性。
• PCA可视化显示，神经CDE和DDM学习到的表示在按结局（存活与死亡）分类时分离效果更好，且与SOFA评分的聚类更清晰，优于原始数据或简单模型。
• 通过顺序架构（如CDE、ODE-RNN）学习到的表示在表示空间中展现出更优的可分性和轨迹连续性，更忠实地反映了患者健康状态的演变过程，优于非顺序方法。