[论文解读] Integrated Conditional Estimation-Optimization

Meng Qi, Paul Grigas+1 more|arXiv (Cornell University)|Oct 24, 2021

Machine Learning and Algorithms被引用 10

一句话总结

本文提出了一种集成条件估计-优化（ICEO）框架，通过将估计与下游优化目标对齐，联合估计不确定参数的条件分布并优化决策。通过使用假设类直接建模上下文特征与随机参数分布之间的关系，ICEO 实现了渐近一致性与有限样本泛化界，优于传统两步法，尤其在模型误设和数据有限的情况下表现更优。

ABSTRACT

Many real-world optimization problems involve uncertain parameters with probability distributions that can be estimated using contextual feature information. In contrast to the standard approach of first estimating the distribution of uncertain parameters and then optimizing the objective based on the estimation, we propose an integrated conditional estimation-optimization (ICEO) framework that estimates the underlying conditional distribution of the random parameter while considering the structure of the optimization problem. We directly model the relationship between the conditional distribution of the random parameter and the contextual features, and then estimate the probabilistic model with an objective that aligns with the downstream optimization problem. We show that our ICEO approach is asymptotically consistent under moderate regularity conditions and further provide finite performance guarantees in the form of generalization bounds. Computationally, performing estimation with the ICEO approach is a non-convex and often non-differentiable optimization problem. We propose a general methodology for approximating the potentially non-differentiable mapping from estimated conditional distribution to the optimal decision by a differentiable function, which greatly improves the performance of gradient-based algorithms applied to the non-convex problem. We also provide a polynomial optimization solution approach in the semi-algebraic case. Numerical experiments are also conducted to show the empirical success of our approach in different situations including with limited data samples and model mismatches.

研究动机与目标

• 解决两步法（预测-然后-优化）和（估计-然后-优化）方法在估计过程中忽略决策误差的局限性。
• 构建一个统一框架，利用上下文特征建模不确定参数的条件分布，同时直接优化下游决策质量。
• 为 ICEO 方法建立理论保证，包括渐近一致性和有限样本泛化界。
• 克服估计过程中最优决策映射不可微带来的计算挑战。
• 在数据稀缺和模型误设条件下，展示 ICEO 相较于标准方法的实证优越性。

提出的方法

• 构建一个假设类，用于建模给定上下文特征下不确定参数的条件分布。
• 定义一个风险函数，将估计误差与决策损失相结合，使估计目标与最终优化目标对齐。
• 通过最小化期望决策损失，使用正则化优化问题来估计条件分布。
• 通过使用可微分的代理函数近似不可微的最优决策映射，以解决其不可微性问题。
• 当使用可微代理函数替代真实 oracle 时，提供近似误差界和泛化界。
• 针对半代数情形提出多项式优化方法，实现在结构化设置下的精确或高效求解。

实验结果

研究问题

• RQ1 与标准两步法相比，联合估计-优化框架是否能在上下文随机优化中提升决策质量？
• RQ2 将估计目标与下游优化目标对齐，是否能带来更好的泛化性能，尤其是在模型误设情况下？
• RQ3 ICEO 框架可建立哪些理论保证，如渐近一致性与泛化界？
• RQ4 如何有效近似不可微的最优决策映射，以在 ICEO 中实现基于梯度的优化？
• RQ5 在数据有限和模型不匹配条件下，ICEO 相较于基准方法（如 ETO-Entropy 和预测模型）的性能优势有多大？

主要发现

• 在多物品报童问题和最小费用网络流问题中，ICEO 在模型误设下始终优于两步法 ETO-Entropy。
• 随着训练样本量减小，ICEO 的优势更加显著，表明其对数据稀缺具有更强鲁棒性。
• 在不同场景数下，ICEO 原型和 ICEO-Entropy 的测试集决策成本均低于所有基准方法，包括 PRES-KNN 和 PRES-Kernel。
• 为 ICEO 建立了泛化界，量化了其在数据有限条件下的有限样本性能。
• 对正则化最优解 oracle 的可微分近似，使基于梯度的优化得以有效实施，并促进收敛至更优的局部极小值。
• 证明了 ICEO 在风险、诱导决策和学习假设方面的渐近一致性，确保随着数据增长，其收敛于真实最优解。