[论文解读] Learning from Rational Behavior: Predicting Solutions to Unknown Linear Programs

Shahin Jabbari, Ryan Rogers+2 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Algebra and Logic被引用 7

一句话总结

本文提出了一种新颖的框架，用于利用目标函数和约束的局部信息来预测未知线性规划（LP）的解，将揭示偏好理论推广至优化问题。该框架针对两种情形提出了误分类界限学习算法：（1）已知目标函数但未知约束条件；（2）未知且变化的目标函数与已知约束条件，实现了在有界误差下的可证明泛化能力。

ABSTRACT

We define and study the problem of predicting the solution to a linear program (LP) given only partial information about its objective and constraints. This generalizes the problem of learning to predict the purchasing behavior of a rational agent who has an unknown objective function, that has been studied under the name “Learning from Revealed Preferences. We give mistake bound learning algorithms in two settings: in the first, the objective of the LP is known to the learner but there is an arbitrary, fixed set of constraints which are unknown. Each example is defined by an additional known constraint and the goal of the learner is to predict the optimal solution of the LP given the union of the known and unknown constraints. This models the problem of predicting the behavior of a rational agent whose goals are known, but whose resources are unknown. In the second setting, the objective of the LP is unknown, and changing in a controlled way. The constraints of the LP may also change every day, but are known. An example is given by a set of constraints and partial information about the objective, and the task of the learner is again to predict the optimal solution of the partially known LP.

研究动机与目标

• 在仅掌握其目标函数和约束条件的部分信息时，对线性规划的最优解进行建模与预测。
• 将揭示偏好框架从消费者选择推广至涉及未知约束或目标的优化问题。
• 开发学习算法，确保在部分信息下预测最优解时，误分类次数有限。
• 处理每日目标函数变化但约束条件已知且固定的情境。
• 通过在已知目标与未知目标两种情形下采用误分类界限学习，提供预测准确性的理论保证。

提出的方法

• 在第一种情形中，学习者观察一系列已知约束，并需预测将这些约束与一组未知但固定的约束组合而成的线性规划的最优解。
• 学习者使用一种误分类界限算法，根据每次约束揭示后从真实最优解获得的反馈来更新其假设。
• 在第二种情形中，目标函数未知但以受控方式变化；学习者在每个样本中观察部分目标信息和已知约束。
• 该算法维护一个可能目标函数的假设空间，并利用对偶性与最优性条件剔除不一致的候选解。
• 它利用对偶性理论与最优性条件来验证或排除候选解，确保在有限次错误内收敛至正确预测。
• 该框架通过保持一致的可行解集合并利用揭示的最优结果迭代细化该集合，实现泛化。

实验结果

研究问题

• RQ1 当仅掌握目标函数和约束的部分信息时，能否预测线性规划的最优解？
• RQ2 在代理具有未知约束或目标的优化情境中，如何建模理性行为？
• RQ3 何种学习算法可保证在预测部分指定的线性规划解时，误分类次数有限？
• RQ4 已知约束的结构如何影响未知目标在线性规划中的可学习性？
• RQ5 在目标函数变化的动态情境中，可为预测准确性提供何种理论保证？

主要发现

• 本文建立了误分类界限学习算法，即使在约束或目标部分未知的情况下，也能以有限且有界的错误次数预测线性规划的最优解。
• 在已知目标函数但未知约束的设定中，该算法的误分类界限取决于约束空间的维度与结构。
• 在未知且变化的目标函数与已知约束的设定中，该算法维护一个可能目标的假设空间，并利用最优性反馈进行细化。
• 该框架将揭示偏好推广至优化问题，使在资源受限决策中预测理性行为成为可能。
• 理论分析表明，预测错误次数在输入规模上为多项式时间，提供了强有力的泛化保证。
• 该方法对目标函数的变化具有鲁棒性，并在最优解于每次示例后被揭示的前提下，保持预测的正确性。