[论文解读] Data-driven Inverse Optimization with Incomplete Information

Peyman Mohajerin Esfahani, Soroosh Shafieezadeh-Abadeh+2 more|arXiv (Cornell University)|Dec 17, 2015

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了一种数据驱动的逆优化框架，通过最小化估计决策与实际决策之间的最坏情况风险，从不完整或噪声的信号-响应数据中学习代理的客观函数。当预测误差以目标值空间度量时，该问题可重述为一个可处理的凸规划问题，从而在有界理性、测量噪声或模型误设的情况下提供强大的样本外性能保证。

ABSTRACT

In data-driven inverse optimization an observer aims to learn the preferences of an agent who solves a parametric optimization problem depending on an exogenous signal. Thus, the observer seeks the agent's objective function that best explains a historical sequence of signals and corresponding optimal actions. We formalize this inverse optimization problem as a distributionally robust program minimizing the worst-case risk that the {\em estimated} decision ({\em i.e.}, the decision implied by a particular candidate objective) differs from the agent's {\em actual} response to a random signal. We show that our framework offers attractive out-of-sample performance guarantees for different prediction errors and that the emerging inverse optimization problems can be reformulated as (or approximated by) tractable convex programs when the prediction error is measured in the space of objective values. A main strength of the proposed approach is that it naturally generalizes to situations where the observer has imperfect information, {\em e.g.}, when the agent's true objective function is not contained in the space of candidate objectives, when the agent suffers from bounded rationality or implementation errors, or when the observed signal-response pairs are corrupted by measurement noise.

研究动机与目标

• 解决在历史数据不完整、有噪声或被污染时，学习代理真实客观函数的挑战。
• 将逆优化形式化为一种分布鲁棒规划，以最小化估计决策与实际决策之间的最坏情况风险。
• 在有界理性、测量误差等各种不确定性形式下，提供样本外性能的理论保证。
• 当预测误差以目标值空间度量时，开发一种可处理的凸优化重述形式。
• 将现有逆优化方法推广至真实客观函数不在候选客观函数集合中的情形。

提出的方法

• 将逆优化问题形式化为一种分布鲁棒规划，以最小化估计响应与实际响应之间决策不匹配的最坏情况风险。
• 通过考虑与观测数据一致的一组合理客观函数，对代理真实客观函数中的不确定性进行建模。
• 使用基于最坏情况期望偏差的风险度量，该偏差在可能的信号下衡量估计与实际决策之间的差异。
• 当预测误差以客观值空间度量时，将逆问题重述为一个可处理的凸规划。
• 通过允许最优行为与观测行为之间存在偏差，实现对有界理性和实施误差的鲁棒性。
• 通过嵌入反映合理数据污染的不确定性集，处理信号-响应对中的测量噪声。

实验结果

研究问题

• RQ1 如何使逆优化在学习代理偏好时对不完整或被污染的历史数据具有鲁棒性？
• RQ2 有界理性与实施误差对逆优化中所学客观函数可靠性有何影响？
• RQ3 在模型不确定性下，分布鲁棒框架能否确保逆优化中强大的样本外性能保证？
• RQ4 在何种条件下，逆优化问题可被重述为可处理的凸规划？
• RQ5 当真实客观函数位于候选客观函数集合之外时，所提出方法如何推广？

主要发现

• 所提出的框架通过最小化估计决策与实际决策之间的最坏情况风险，提供了强大的样本外性能保证。
• 当预测误差以客观值空间度量时，逆优化问题可被重述为一个可处理的凸规划。
• 该方法无需真实客观函数的精确知识，即可自然地容纳有界理性、实施误差和测量噪声。
• 通过考虑与观测数据一致的一组合理客观函数，实现了对模型误设的鲁棒性。
• 该方法通过允许信号和响应中存在不完美信息和不确定性，推广了现有逆优化方法。
• 该框架在保持理论可处理性的同时，为现实应用中各种不确定性来源的建模提供了灵活性。