[论文解读] Fast Rates for Contextual Linear Optimization

Yichun Hu, Nathan Kallus+1 more|arXiv (Cornell University)|Nov 5, 2020

Advanced Bandit Algorithms Research参考文献 37被引用 6

一句话总结

该论文表明，简单的‘先估计后优化’（ETO）方法——即通过最小二乘法训练预测模型，再用其指导决策——在上下文线性优化中比直接优化决策性能的方法具有更快的遗憾收敛速率。令人惊讶的是，由于问题结构中存在有利的几何特性，特别是不存在任意近对偶退化性，ETO优于SPO+等先进方法。

ABSTRACT

Incorporating side observations in decision making can reduce uncertainty and boost performance, but it also requires we tackle a potentially complex predictive relationship. While one may use off-the-shelf machine learning methods to separately learn a predictive model and plug it in, a variety of recent methods instead integrate estimation and optimization by fitting the model to directly optimize downstream decision performance. Surprisingly, in the case of contextual linear optimization, we show that the naive plug-in approach actually achieves regret convergence rates that are significantly faster than methods that directly optimize downstream decision performance. We show this by leveraging the fact that specific problem instances do not have arbitrarily bad near-dual-degeneracy. While there are other pros and cons to consider as we discuss and illustrate numerically, our results highlight a nuanced landscape for the enterprise to integrate estimation and optimization. Our results are overall positive for practice: predictive models are easy and fast to train using existing tools, simple to interpret, and, as we show, lead to decisions that perform very well.

研究动机与目标

• 研究‘先估计后优化’（ETO）方法在上下文线性优化（CLO）中的表现，其中决策基于预测的系数做出。
• 将ETO与更复杂的集成预测与优化的方法（如SPO+）进行比较，后者直接优化下游决策性能。
• 理解为何ETO能实现比明确为决策性能设计的方法更快的遗憾收敛速率，尽管使用了可能次优的损失函数。
• 分析CLO中使ETO实现快速收敛的结构性质，特别是不存在任意近对偶退化性。
• 通过合成数据和多种假设类（包括线性、岭回归和核方法）对理论发现进行实证验证。

提出的方法

• 该论文分析了ETO策略的遗憾，定义为在真实条件期望 $ f^*(x) = \mathbb{E}[Y \mid X = x] $ 下，学习到的策略与最优策略之间成本的期望差值。
• 通过利用问题实例不表现出任意近对偶退化性这一事实，推导出遗憾边界，这可防止某些基于优化的方法出现收敛缓慢的问题。
• 作者使用最小二乘回归估计 $ f^* $，然后通过求解确定性优化问题 $ \pi_f(x) \in \arg\min_{z \in \mathcal{Z}} f(x)^\top z $ 构建策略 $ \hat{\pi}^{\text{ETO}} $，使用估计得到的 $ f $。
• 为进行对比，论文评估了SPO+和IERM，它们使用可微分代理损失直接优化决策成本，并通过验证调优超参数。
• 该方法包括一项严谨的数值实验，训练样本数 $ n $ 从50到1000，使用5维 $ X $、40维 $ Y $，以及最高5次的多项式特征。
• 作者使用Gurobi精确求解决策问题，使用scikit-learn进行岭正则化最小二乘回归，并对大规模核SPO+使用随机梯度下降。

实验结果

研究问题

• RQ1 为何‘先估计后优化’（ETO）方法在上下文线性优化中比直接优化决策性能的方法具有更快的遗憾收敛速率？
• RQ2 CLO问题的哪些结构性质使得ETO能够优于更复杂的集成方法（如SPO+）？
• RQ3 问题实例中不存在任意近对偶退化性在多大程度上影响ETO的收敛速率？
• RQ4 不同假设类（线性、岭回归、核方法）在遗憾和决策成本方面如何影响ETO与SPO+的性能？
• RQ5 ETO是否即使使用现成的机器学习工具，无需端到端优化，也能实现快速收敛？

主要发现

• ETO方法实现了 $ \Theta(1/n^2) $ 的遗憾收敛速率，远快于标准估计问题中常见的 $ \Theta(1/n) $ 速率。
• 这一快速收敛速率源于问题实例中不存在任意近对偶退化性，从而避免了某些基于优化方法的收敛缓慢问题。
• 尽管使用了非决策感知的损失函数，ETO在遗憾方面仍优于SPO+和IERM，尤其在高维特征设置下表现更优。
• 数值实验结果证实，无论样本量 $ n \in \{50, 100, \dots, 1000\} $ 如何，使用最小二乘回归的ETO在遗憾方面均低于SPO+，且性能优势稳定。
• 即使SPO+通过验证数据调优以最小化决策成本，ETO与SPO+之间的性能差距依然存在，表明ETO的优势是结构性的，而非仅依赖于超参数调优。
• 结果表明，ETO不仅收敛更快、实现更简便，而且在实践中能产生表现极佳的决策，使其成为现实世界决策支持系统中的强有力选择。