[论文解读] Choice-Model-Assisted Q-learning for Delayed-Feedback Revenue Management

Owen Shen, Patrick Jaillet|arXiv (Cornell University)|Feb 2, 2026

Supply Chain and Inventory Management被引用 0

一句话总结

本论文提出了选择模型辅助的强化学习（CA-DQN），它通过使用固定的离散选择模型来推断延迟的收益，从而实现即时的Q学习更新；并证明收敛界限，通过仿真验证在酒店预订数据上的鲁棒性与局限性。

ABSTRACT

We study reinforcement learning for revenue management with delayed feedback, where a substantial fraction of value is determined by customer cancellations and modifications observed days after booking. We propose \emph{choice-model-assisted RL}: a calibrated discrete choice model is used as a fixed partial world model to impute the delayed component of the learning target at decision time. In the fixed-model deployment regime, we prove that tabular Q-learning with model-imputed targets converges to an $O(\varepsilon/(1-γ))$ neighborhood of the optimal Q-function, where $\varepsilon$ summarizes partial-model error, with an additional $O(t^{-1/2})$ sampling term. Experiments in a simulator calibrated from 61{,}619 hotel bookings (1{,}088 independent runs) show: (i) no statistically detectable difference from a maturity-buffer DQN baseline in stationary settings; (ii) positive effects under in-family parameter shifts, with significant gains in 5 of 10 shift scenarios after Holm--Bonferroni correction (up to 12.4\%); and (iii) consistent degradation under structural misspecification, where the choice model assumptions are violated (1.4--2.6\% lower revenue). These results characterize when partial behavioral models improve robustness under shift and when they introduce harmful bias.

研究动机与目标

• 解决取消/修改在数日后揭示奖励的延迟反馈的收入管理问题。
• 将固定的离散选择模型作为部分世界模型，在决策时对延迟奖励进行推断。
• 为带有模型推断目标的表格Q学习建立理论收敛保证。
• 使用基于真实酒店预订数据构建的仿真器，实证评估在分布转移与结构性错配下的鲁棒性。
• 在部分行为模型能够提高鲁棒性时，及在何时引入偏差时进行特征化。

提出的方法

• 定义带有冲击的延迟反馈MDP，区分即时奖励与延迟奖励。
• 将固定的预训练离散选择模型（DCM）嵌入为部分世界模型，在决策时对延迟奖励进行推断。
• 引入模型推断采样：从DCM生成合成的 (r', s') 样本，用于Q学习更新。
• 证明有限时间收敛界： ||Q_t - Q*||_∞ = O(ε/(1-γ) + t^{-1/2}√log(...))，其中 ε 表示 DCM 的误差。
• 展示一个自适应的双时间尺度框架，在学习中由DCM引导，同时保持可解释性与可处理性。

Figure 3 : Learning curves in stationary settings. Both MB-DQN (orange) and Choice-Assisted DQN (blue) converge to similar performance levels across all training durations (n=20 seeds per method, shaded regions show 95% confidence intervals). No significant differences are detected ( $p>0.05$ at all

实验结果

研究问题

• RQ1 在平稳设置且DCM正确指定时，CA-DQN 是否等价于 MB-DQN？
• RQ2 在同类转移（需求/竞争）下，CA-DQN 是否提高鲁棒性而不牺牲性能？
• RQ3 在DCM结构性错配（IIA 违背、异质性、时序动态）下，CA-DQN 的表现如何？
• RQ4 在使用固定、模型推断目标的Q学习中，其理论收敛性质是什么？

主要发现

• CA-DQN 能收敛到近似最优的Q函数，存在由DCM近似误差决定的不可约偏差，以及一个逐渐减小的采样项。
• 在平稳设置下，CA-DQN 与 MB-DQN 在统计上无显著差异，表明当DCM正确时实质等价。
• CA-DQN 在多种同类转移下提升鲁棒性，在某些情景下纠正后可达到最多12.4%的增益。
• 在结构性错配下，CA-DQN 的表现持续下降（错配测试中收入降幅约1.4%–2.6%）。
• 对从61619笔酒店预订中校准的仿真器的实验显示了鲁棒性与偏差之间的权衡。

Figure 4 : Robustness under parameter shifts across 10 scenarios. Choice-Assisted DQN (blue bars) shows mixed results compared to MB-DQN (orange bars): significant improvements in 4 scenarios (up to +12.4% under low demand), significant underperformance in 2 scenarios (up to -9.6% under high competi