[论文解读] Supervised topic models for clinical interpretability

Michael C. Hughes, Huseyin Melih Elibol+3 more|arXiv (Cornell University)|Dec 6, 2016

Topic Modeling参考文献 10被引用 7

一句话总结

本文提出了一种针对监督主题模型的惩罚性端到端优化框架，通过使用理想文档嵌入函数对齐训练与推理过程，提升了临床可解释性与预测性能。通过引入识别网络进行近似推理，该方法在标签信号微弱时，相较于标准sLDA，实现了更快的训练速度与更好的泛化能力，其有效性在大规模电子健康记录（EHR）数据集上预测抗抑郁药物治疗成功率的任务中得到验证。

ABSTRACT

Supervised topic models can help clinical researchers find interpretable cooccurence patterns in count data that are relevant for diagnostics. However, standard formulations of supervised Latent Dirichlet Allocation have two problems. First, when documents have many more words than labels, the influence of the labels will be negligible. Second, due to conditional independence assumptions in the graphical model the impact of supervised labels on the learned topic-word probabilities is often minimal, leading to poor predictions on heldout data. We investigate penalized optimization methods for training sLDA that produce interpretable topic-word parameters and useful heldout predictions, using recognition networks to speed-up inference. We report preliminary results on synthetic data and on predicting successful anti-depressant medication given a patient's diagnostic history.

研究动机与目标

• 解决标准监督LDA在标签相对于高维临床计数数据稀疏时泛化能力差的问题。
• 克服sLDA中条件独立性假设带来的限制，即标签对主题-词参数的影响受限。
• 开发一种训练目标，通过加权优化平衡生成式与判别式项。
• 通过识别网络实现可扩展推理，近似训练期间昂贵的测试时间嵌入。
• 在保持临床洞察力所需可解释的主题-词分布的同时，提升在保留数据上的预测性能。

提出的方法

• 提出一种改进的目标函数，通过无监督与监督似然性的加权组合，联合优化文档-主题嵌入与标签预测。
• 引入理想嵌入函数 $ f^* $，将词计数 $ x_d $ 与主题参数 $ \phi $ 映射至文档-主题分布 $ \pi_d $，确保训练与测试时间推理的一致性。
• 通过识别网络开发近似嵌入 $ f^\lambda $，避免在每个文档上进行迭代优化，从而加快训练速度。
• 采用基于梯度的优化方法，利用惩罚权重 $ w_x $ 与 $ w_y $ 平衡目标函数中词计数与标签的影响。
• 采用基于向量化自动微分的优化方法，实现对合成数据与真实世界EHR数据的高效训练。
• 将该方法应用于包含80万例患者就诊记录的大规模EHR数据集，以预测抗抑郁药物处方的成功率。

实验结果

研究问题

• RQ1 当标签相对于词计数稀疏时，惩罚性端到端优化策略是否能提升监督主题模型的预测性能？
• RQ2 通过 $ f^* $ 对齐训练时间与测试时间的文档嵌入，是否能降低过拟合并改善泛化能力？
• RQ3 基于识别网络的近似 $ f^\lambda $ 是否能在显著减少训练时间的同时，实现与理想 $ f^* $ 相当的性能？
• RQ4 与标准sLDA及基线词袋逻辑回归相比，所提出方法在预测抗抑郁药物治疗成功率方面表现如何？
• RQ5 在提升预测准确率的同时，学习到的主题-词参数在多大程度上仍保持可解释性？

主要发现

• 使用 $ f^* $ 的理想端到端训练相比标准sLDA显著降低了预测误差，尤其在标签权重较低时效果更明显。
• 使用 $ f^* $ 时，所有药物的误差率均更低，对于像阿米替丁和马普替丁等罕见药物，AUC提升最高达0.15。
• 近似嵌入 $ f^\lambda $ 将训练时间减少了3.6倍，同时在大多数药物上保持了具有竞争力的预测性能。
• 对于患病率超过1%的药物，$ f^\lambda $ 的AUC得分与 $ f^* $ 相差不超过0.02，表明其近似质量优异。
• 尽管性能有所提升，但最佳sLDA模型仍逊于简单的词袋逻辑回归基线，表明存在局部最优解的挑战。
• 该方法即使在 $ w_x $ 较高时，仍能成功保持可解释的主题-词参数，从而实现对学习到的模式的临床可解释性。