[论文解读] Generalized Inverse Optimization through Online Learning

Chaosheng Dong, Yiran Chen+1 more|arXiv (Cornell University)|Oct 3, 2018

Sparse and Compressive Sensing Techniques被引用 21

一句话总结

本文提出了一种广义逆优化的新型在线学习框架，能够从顺序到达的噪声数据中实时推断决策者的偏好和约束。通过利用基于单次观测逆优化的隐式更新规则，该方法实现了 $Ø(1/\sqrt{T})$ 的收敛速率和统计一致性，在消费者行为和转运问题中均表现出高精度与强鲁棒性，且相较于批量方法具有显著的计算优势。

ABSTRACT

Inverse optimization is a powerful paradigm for learning preferences and restrictions that explain the behavior of a decision maker, based on a set of external signal and the corresponding decision pairs. However, most inverse optimization algorithms are designed specifically in batch setting, where all the data is available in advance. As a consequence, there has been rare use of these methods in an online setting suitable for real-time applications. In this paper, we propose a general framework for inverse optimization through online learning. Specifically, we develop an online learning algorithm that uses an implicit update rule which can handle noisy data. Moreover, under additional regularity assumptions in terms of the data and the model, we prove that our algorithm converges at a rate of $\mathcal{O}(1/\sqrt{T})$ and is statistically consistent. In our experiments, we show the online learning approach can learn the parameters with great accuracy and is very robust to noises, and achieves a dramatic improvement in computational efficacy over the batch learning approach.

研究动机与目标

• 为解决批量逆优化在实时应用中的局限性，特别是在推荐系统等动态环境中的应用。
• 开发一种可扩展的在线学习框架，随着新数据的到来逐步更新偏好和约束。
• 在保持统计一致性与计算效率的同时，增强对噪声观测的鲁棒性。
• 将逆优化推广至非线性模型与无噪声假设之外，支持凸的一般效用函数和约束。

提出的方法

• 将逆优化建模为在线学习问题，采用单次观测逆优化子程序作为核心更新机制。
• 采用隐式更新规则，根据新到达的（信号，噪声决策）对动态调整参数，无需存储历史数据。
• 在正则性条件下建立遗憾界分析，证明收敛速率为 $\mathcal{O}(1/\sqrt{T})$。
• 通过结合遗憾界与先前工作的统计一致性结果，建立统计一致性。
• 将该框架应用于两个实际问题：消费者行为建模与具有凸二次成本的转运网络成本估计。
• 采用学习率 $\eta_t = 2/\sqrt{t}$，并在实验中使用冷启动初始化实现算法1。

实验结果

研究问题

• RQ1 逆优化能否有效适应具有噪声观测的在线序列数据流？
• RQ2 所提出的隐式在线学习算法在真实数据条件下是否能实现收敛与统计一致性？
• RQ3 在准确性和计算效率方面，该在线方法相较于批量逆优化表现如何？
• RQ4 该框架能否在不依赖线性或无噪声数据的前提下处理一般凸效用函数与约束？
• RQ5 该算法在真实决策数据中对噪声的鲁棒性如何？

主要发现

• 该算法实现了 $\mathcal{O}(1/\sqrt{T})$ 的收敛速率，验证了理论性能保证。
• 该方法具有统计一致性，即渐近地达到逆模型所允许的最佳预测误差。
• 在转运问题中，运输成本的估计误差在100次重复实验中迅速收敛至真实值，表明对噪声具有高度鲁棒性。
• 平均累积损失渐近趋近于噪声方差 ($\mathbf{E}[\epsilon^T\epsilon] = 0.1667$)，证实了在噪声条件下的稳定学习。
• 与批量学习相比，该在线方法显著降低了计算时间，实现了实时偏好获取。
• 该算法在多次运行中保持了低估计误差方差，表明在噪声环境中具有可靠性和一致性。