[论文解读] ASAC: Active Sensing using Actor-Critic models

Jinsung Yoon, James Jordon+1 more|arXiv (Cornell University)|Jun 16, 2019

Explainable Artificial Intelligence (XAI)参考文献 27被引用 4

一句话总结

ASAC 是一种深度强化学习框架，采用演员-评论家模型解决医疗保健中观测成本高昂的主动感知问题。它联合训练一个选择器网络以决定测量哪些变量，以及一个预测器网络通过预测误差提供反馈，以最小化完整特征分布与所选特征分布之间的KL散度，同时平衡测量成本。

ABSTRACT

Deciding what and when to observe is critical when making observations is costly. In a medical setting where observations can be made sequentially, making these observations (or not) should be an active choice. We refer to this as the active sensing problem. In this paper, we propose a novel deep learning framework, which we call ASAC (Active Sensing using Actor-Critic models) to address this problem. ASAC consists of two networks: a selector network and a predictor network. The selector network uses previously selected observations to determine what should be observed in the future. The predictor network uses the observations selected by the selector network to predict a label, providing feedback to the selector network (well-selected variables should be predictive of the label). The goal of the selector network is then to select variables that balance the cost of observing the selected variables with their predictive power; we wish to preserve the conditional label distribution. During training, we use the actor-critic models to allow the loss of the selector to be "back-propagated" through the sampling process. The selector network "acts" by selecting future observations to make. The predictor network acts as a "critic" by feeding predictive errors for the selected variables back to the selector network. In our experiments, we show that ASAC significantly outperforms state-of-the-arts in two real-world medical datasets.

研究动机与目标

• 解决医疗环境中每次测量均产生经济或患者负担的连续观测成本高昂问题。
• 将主动感知建模为一种序列决策问题，以平衡预测准确率与测量成本。
• 开发一种深度学习框架，能够处理静态和时间序列数据，并随时间进行变量选择。
• 确保所选特征在噪声或高成本测量条件下仍能保留条件标签分布。
• 通过为个体患者学习最优测量策略，实现实时、个性化的低成本筛查与监测。

提出的方法

• 采用双流神经网络架构：选择器网络（演员）基于先前测量结果选择未来观测，预测器网络（评论家）使用所选特征进行标签预测。
• 使用策略梯度方法训练选择器，以评论家的预测误差作为奖励信号，实现通过随机采样进行反向传播。
• 优化一个损失函数，结合完整特征与所选特征的条件标签分布之间的KL散度，以及测量成本的惩罚项。
• 引入可微分采样机制，即使观测选择具有离散性，也能实现基于梯度的优化。
• 通过建模依赖于先前选择的未来观测的序列决策过程，同时处理静态和时间序列场景。
• 通过根据预测患者状态（如患病与健康）调节测量成本，引入标签相关成本，实现对准确性的自适应优先排序。

实验结果

研究问题

• RQ1 深度强化学习框架能否有效学习在连续医疗观测场景中选择信息丰富且低成本的测量？
• RQ2 与最先进方法相比，ASAC在最小化测量次数的同时，其预测性能保持得如何？
• RQ3 当患者病情恶化时，ASAC能否自适应地优先选择高精度测量，即使这会增加成本？
• RQ4 当存在更便宜但更嘈杂的替代测量时，ASAC对噪声或不完美测量的鲁棒性如何？
• RQ5 在真实临床数据集中常见的缺失数据情况下，ASAC的性能是否依然稳定？

主要发现

• 在两个真实世界医疗数据集上，ASAC 显著优于最先进方法，在几乎不损失预测准确率的前提下大幅降低观测成本。
• 在 MIMIC-III 数据集上，ASAC 展现出对缺失数据的强鲁棒性，即使特征不完整也能保持高性能。
• 在具有噪声特征的合成实验中，随着成本上升，ASAC 正确地优先选择了真实特征，仅在成本较低时选择噪声版本。
• 当测量成本取决于患者状态（如病情严重时成本更高）时，ASAC 在患者患病时将真实特征的使用量提高了高达 700%（η=0.1），表现出自适应行为。
• 在 γ=0.6 时，ASAC 仅选择真实版本的 X²，并开始偶尔测量真实版本的 X¹，表明其成功学习了成本-准确率权衡。
• 在所有测试场景中，包括高噪声、高成本和标签相关成本环境，ASAC 均成功平衡了预测能力与成本。