[论文解读] An Online-Learning Approach to Inverse Optimization

Andreas Bärmann, Alexander Martín+2 more|arXiv (Cornell University)|Oct 30, 2018

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文提出了一种在线学习框架用于反向优化，通过顺序观测输入参数和相应的最优决策，学习专家未知的线性目标函数。利用在线梯度下降和乘法权重更新算法，该方法在遗憾和代理成本偏差方面实现了 O(1/√T) 的收敛速度，即使在动态或次优数据下也能实现快速、准确的目标函数学习，并可推广至非线性、参数化及变化的目标函数。

ABSTRACT

In this paper, we demonstrate how to learn the objective function of a decision-maker while only observing the problem input data and the decision-maker's corresponding decisions over multiple rounds. We present exact algorithms for this online version of inverse optimization which converge at a rate of $ \mathcal{O}(1/\sqrt{T}) $ in the number of observations~$T$ and compare their further properties. Especially, they all allow taking decisions which are essentially as good as those of the observed decision-maker already after relatively few iterations, but are suited best for different settings each. Our approach is based on online learning and works for linear objectives over arbitrary feasible sets for which we have a linear optimization oracle. As such, it generalizes previous approaches based on KKT-system decomposition and dualization. We also introduce several generalizations, such as the approximate learning of non-linear objective functions, dynamically changing as well as parameterized objectives and the case of suboptimal observed decisions. When applied to the stochastic offline case, our algorithms are able to give guarantees on the quality of the learned objectives in expectation. Finally, we show the effectiveness and possible applications of our methods in indicative computational experiments.

研究动机与目标

• 开发一种在线学习框架，从重复观测输入参数和最优决策中推断专家未知的线性目标函数。
• 实现实时学习目标函数，随着数据流的到达而持续更新，适用于动态或时变决策环境。
• 通过利用具有线性优化预言机的在线学习算法，将反向优化从静态、凸或基于 KKT 的方法中推广开来。
• 在决策性能和成本偏差方面，为所学习目标函数的质量提供理论保证。
• 将框架扩展至处理非线性目标函数、参数化目标函数以及次优观测决策。

提出的方法

• 使用在线梯度下降（OGD）和乘法权重更新（MWU）算法，基于每次观测决策的反馈，迭代优化所学习的目标函数。
• 在每轮 t，算法观测输入 pt，选择一个代理目标函数 ct，计算最优决策 x̄t = argmax{cₜᵀx | x ∈ X(pt)}，然后观测专家的决策 xt，并使用梯度或权重更新方式更新 ct。
• 采用线性优化预言机，计算任意候选目标函数下的最优决策，从而实现对复杂可行集的可扩展性。
• 应用投影更新规则，确保所学习的目标函数保持在有界可行集内（例如单位立方体），以维持收敛性和稳定性。
• 通过核近似或分段线性化，将方法推广至非线性目标函数；通过结构化参数空间，支持参数化目标函数。
• 通过引入松弛变量或鲁棒损失函数，惩罚与观测决策的偏差，从而处理次优决策。

实验结果

研究问题

• RQ1 当仅随时间观测到最优决策时，在反向优化中，在线学习算法能否实现低遗憾和低成本偏差？
• RQ2 在多快的时间内可以学习到一个目标函数，使得基于该目标函数的决策几乎与专家的决策一样好？
• RQ3 该框架能否处理随时间变化的目标函数，例如时变的配送成本和收入？
• RQ4 当观测决策为次优而非最优时，该方法的性能如何？
• RQ5 该方法能否扩展至从顺序数据中学习非线性或参数化目标函数？

主要发现

• 所提出的在线算法在真实成本偏差和代理成本偏差方面均实现了 O(1/√T) 的收敛速率，确保在少量观测下即可实现快速学习。
• 该方法在奖赏收集 TSP 设置中成功学习了具有混合符号系数的目标函数，表现出对动态成本和收入变化的鲁棒性。
• 即使在真实目标函数随时间变化的情况下，算法仍能收敛至一个稳定且‘鲁棒’的目标函数，能够解释观测决策，其偏差在真实目标函数的方差范围内。
• 在计算实验中，算法在 100 轮内即实现低解误差和低目标函数距离，平均遗憾迅速下降。
• 该框架在非线性目标函数和次优决策上具有良好的泛化能力，在样本外测试中保持了强劲性能。
• 理论保证在随机离线情况下以期望形式成立，表明该方法在不确定性下的可靠性。