[论文解读] Decision-Focused Learning: Foundations, State of the Art, Benchmark and Future Opportunities

Jayanta Mandi, James Kotary+5 more|arXiv (Cornell University)|Jul 25, 2023

Machine Learning and Data Classification被引用 6

一句话总结

本文提出了决策聚焦学习（Decision-Focused Learning, DFL），一种通过直接对优化求解器进行反向传播来端到端训练机器学习模型以优化决策的范式。该研究提出了 DFL 方法的四类分类法，在七个现实世界任务中对八种技术进行了基准测试，并识别出在通用优化问题中处理不确定参数时，提升决策质量的集成预测与优化的关键挑战和未来研究方向。

ABSTRACT

Decision-focused learning (DFL) is an emerging paradigm that integrates machine learning (ML) and constrained optimization to enhance decision quality by training ML models in an end-to-end system. This approach shows significant potential to revolutionize combinatorial decision-making in real-world applications that operate under uncertainty, where estimating unknown parameters within decision models is a major challenge. This paper presents a comprehensive review of DFL, providing an in-depth analysis of both gradient-based and gradient-free techniques used to combine ML and constrained optimization. It evaluates the strengths and limitations of these techniques and includes an extensive empirical evaluation of eleven methods across seven problems. The survey also offers insights into recent advancements and future research directions in DFL. Code and benchmark: https://github.com/PredOpt/predopt-benchmarks

研究动机与目标

• 为解决传统两阶段预测与预决策建模的局限性，即预测误差会降低决策质量。
• 将预测与优化统一为一个端到端学习框架，直接优化决策质量。
• 基于其差异化与平滑策略，提出 DFL 方法的系统性分类法。
• 建立一个包含七个多样化 DFL 任务的公开基准，评估八种最先进的 DFL 方法。
• 识别 DFL 中的开放性挑战与未来研究方向，特别是针对通用优化问题中不确定参数的处理。

提出的方法

• 提出 DFL 方法的四类分类：对优化映射的解析微分、对优化映射的解析平滑、通过随机扰动实现的平滑，以及对代理损失函数的微分。
• 将优化求解器作为可微分层集成到神经网络中，实现通过求解过程的梯度反向传播。
• 采用双层优化公式将 DFL 训练目标建模为悲观型双层问题，其中外层问题最小化经验遗憾。
• 利用可微分优化层（如 I-MLE、DBB、QPTL 和 DPO）将约束优化问题作为深度网络中的中间层嵌入。
• 采用解缓存技术降低大规模 NP-难问题中的计算成本，平衡缓存大小与解的质量。
• 开发了一个公开的基准套件，包含代码与数据，网址为 https://github.com/PredOpt/predopt-benchmarks，以支持可复现的评估。

Figure 1 : Decision-making under uncertainty involves both predictive and prescriptive analytics. In the predictive stage, the uncertain parameters are predicted from the feature variables using an ML model. In the prescriptive stage, a decision is prescribed by solving a CO problem using the predic

实验结果

研究问题

• RQ1 如何训练机器学习模型以直接优化决策，而非仅预测参数？
• RQ2 在存在离散变量的情况下，通过优化求解器进行微分的根本挑战是什么？
• RQ3 在不同类型的问题中，不同 DFL 技术（解析型、平滑型与代理基）在性能与鲁棒性方面如何比较？
• RQ4 在大规模 DFL 应用中，解缓存大小与解质量之间的权衡是什么？
• RQ5 在处理通用优化问题中的不确定参数时，DFL 最具前景的未来研究方向是什么？

主要发现

• 所提出的四类分类法为理解与比较现有 DFL 方法提供了结构化框架。
• 在七个基准任务上的实证评估表明，DFL 方法在决策质量方面显著优于传统两阶段方法，尤其在参数不确定条件下。
• 解缓存技术在保持高解质量的同时，有效降低了 NP-难问题中的计算成本。
• 可微分优化层（如 I-MLE 和 DBB）能够有效将约束优化问题作为深度学习流水线中的中间层集成。
• 双层优化公式为 DFL 提供了数学上严谨的基础，开辟了算法开发的新途径。
• 包含公开代码与数据的基准套件支持可复现评估，并加速了 DFL 领域的未来研究。

Figure 3 : In decision-focused learning, the neural network model is trained to minimize the task loss