[论文解读] Decision-Aware Learning for Optimizing Health Supply Chains

Tsai-Hsuan Chung, Vahid Rostami+2 more|arXiv (Cornell University)|Nov 15, 2022

Pharmaceutical Economics and Policy被引用 6

一句话总结

本文提出了一种决策感知学习框架，通过最优决策损失的泰勒展开推导出样本重加权方法，用于训练预测模型，从而实现与任意模型架构的可扩展、灵活集成——在多任务学习设置下通过随机森林进行了验证。应用于塞拉利昂的药品分配问题时，与标准的先预测后优化方法相比，未满足需求减少了多达一个数量级。

ABSTRACT

We study the problem of allocating limited supply of medical resources in developing countries, in particular, Sierra Leone. We address this problem by combining machine learning (to predict demand) with optimization (to optimize allocations). A key challenge is the need to align the loss function used to train the machine learning model with the decision loss associated with the downstream optimization problem. Traditional solutions have limited flexibility in the model architecture and scale poorly to large datasets. We propose a decision-aware learning algorithm that uses a novel Taylor expansion of the optimal decision loss to derive the machine learning loss. Importantly, our approach only requires a simple re-weighting of the training data, ensuring it is both flexible and scalable, e.g., we incorporate it into a random forest trained using a multitask learning framework. We apply our framework to optimize the distribution of essential medicines in collaboration with policymakers in Sierra Leone; highly uncertain demand and limited budgets currently result in excessive unmet demand. Out-of-sample results demonstrate that our end-to-end approach can significantly reduce unmet demand across 1040 health facilities throughout Sierra Leone.

研究动机与目标

• 为应对发展中国家（特别是塞拉利昂）医疗物资有限分配的挑战，该国面临高需求不确定性与预算约束，导致显著的未满足需求。
• 克服传统先预测后优化方法的局限性，后者将预测与下游决策过程脱钩，常导致分配结果不佳。
• 开发一种可扩展、灵活的方法，使机器学习训练与优化的实际决策损失对齐，确保预测结果直接提升分配表现。
• 实现现代复杂数据科学流水线（如多任务学习）在决策感知学习中的有效应用，而此前的方法未能支持此类集成。

提出的方法

• 该方法通过对最优分配附近的最优决策损失进行泰勒展开，推导出用于训练预测模型的代理损失，从而实现无需梯度的、基于样本重加权的优化。
• 根据推导出的损失近似值对训练数据进行重加权，使该方法可与任意可微或不可微的模型架构（包括随机森林）集成。
• 通过蒙特卡洛采样模型预测（例如随机森林中多棵决策树的输出）对决策损失进行随机近似，实现可扩展的优化。
• 通过训练单一模型同时预测全部1,040个卫生设施和8种基本药品的需求，实现多任务学习，从而提升低数据量设施的性能。
• 该框架与标准机器学习流水线兼容，避免了对优化过程的端到端反向传播，确保在大规模数据集上的可扩展性。
• 在随机森林框架内实现，采用多任务学习设置，其中每棵树均基于来自决策感知损失近似的重加权样本进行训练。

实验结果

研究问题

• RQ1 能否使决策感知学习在高维稀疏数据的现实世界医疗物资供应链问题中兼具灵活性与可扩展性？
• RQ2 基于决策损失泰勒展开的决策感知学习与传统先预测后优化方法相比，在减少基本药品未满足需求方面表现如何？
• RQ3 能否在不牺牲可扩展性的前提下，将决策感知学习有效集成到现代复杂机器学习流水线（如多任务随机森林）中？
• RQ4 为何现有决策感知学习方法无法扩展到塞拉利昂这类大规模医疗物资供应链数据集？
• RQ5 决策感知学习在历史数据较少的医疗机构中能将性能提升多少？这些机构中标准的单设施模型往往失效。

主要发现

• 所提出的决策感知学习方法在塞拉利昂研究的全部8种基本药品中，与标准先预测后优化基线相比，将未满足需求减少了多达一个数量级。
• 对于高分配量设施，未满足需求的平均值从基线的18%降至13%；对于低分配量设施，从17%降至11%。
• 该方法显著优于现有决策感知方法（如决策聚焦学习和随机优化随机森林），后者在塞拉利昂数据集上无法扩展且无法在合理时间内完成计算。
• 采用单一随机森林模型对所有设施和药品进行多任务学习，显著提升了低数据量设施的预测性能，优于单设施模型。
• 该框架实现了决策感知学习与标准机器学习流水线（包括随机森林）的有效集成，无需架构修改或端到端反向传播。
• 该方法在各类设施类型和药品类别中均表现出稳健性能，证实了其在现实世界医疗物资供应链优化中的实际可行性。