[논문 리뷰] Choice-Model-Assisted Q-learning for Delayed-Feedback Revenue Management

Owen Shen, Patrick Jaillet|arXiv (Cornell University)|2026. 02. 02.

Supply Chain and Inventory Management인용 수 0

한 줄 요약

요약: 이 논문은 고정된 이산 선택 모델을 사용한 Choice-Model-Assisted RL(CA-DQN)을 제안하여 지연된 수익을 보정하고 즉시 Q-learning 업데이트를 가능하게 하며, 수렴 경계와 호텔 예약 시뮬레이션을 통한 견고성과 한계를 검증한다.

ABSTRACT

We study reinforcement learning for revenue management with delayed feedback, where a substantial fraction of value is determined by customer cancellations and modifications observed days after booking. We propose \emph{choice-model-assisted RL}: a calibrated discrete choice model is used as a fixed partial world model to impute the delayed component of the learning target at decision time. In the fixed-model deployment regime, we prove that tabular Q-learning with model-imputed targets converges to an $O(\varepsilon/(1-γ))$ neighborhood of the optimal Q-function, where $\varepsilon$ summarizes partial-model error, with an additional $O(t^{-1/2})$ sampling term. Experiments in a simulator calibrated from 61{,}619 hotel bookings (1{,}088 independent runs) show: (i) no statistically detectable difference from a maturity-buffer DQN baseline in stationary settings; (ii) positive effects under in-family parameter shifts, with significant gains in 5 of 10 shift scenarios after Holm--Bonferroni correction (up to 12.4\%); and (iii) consistent degradation under structural misspecification, where the choice model assumptions are violated (1.4--2.6\% lower revenue). These results characterize when partial behavioral models improve robustness under shift and when they introduce harmful bias.

연구 동기 및 목표

• cancellations/modifications가 수 reward를 며칠 뒤에 드러내는 지연 피드백이 있는 수익 관리 문제를 다룬다.
• 결정 시 지연 보상을 보정하기 위한 고정된 이산 선택 모형(DCM)을 부분 세계 모델로 삽입한다.
• 모델 보정 타깃을 사용한 표 형식 Q-학습에 대한 이론적 수렴 보장을 확립한다.
• 실제 호텔 예약으로 구축된 시뮬레이터를 사용하여 분포 이동 및 구조적 오정합에 대한 견고성을 실증적으로 평가한다.
• 부분적 행동 모델이 견고성을 높일 때와 편향을 일으킬 때를 특징짓는다.

제안 방법

• 지연 피드백 MDP를 충격과 함께 정의하고 즉시 보상과 지연 보상을 구분한다.
• 고정된 사전 학습된 이산 선택 모형(DCM)을 부분 세계 모델로 삽입하여 의사 결정 시 지연 보상을 보정한다.
• Q-학습 업데이트를 위해 DCM으로부터 합성( r', s') 샘플을 생성하는 모델 보정 샘플링을 도입한다.
• 유한 시간 수렴 경계 증명: ||Q_t - Q*||_∞ = O(ε/(1-γ) + t^{-1/2}√log(...)) 이고 ε는 DCM 오차를 포착한다.
• DCM이 학습을 인도하면서도 해석성과 계산 가능성을 유지하는 적응적 이중 타임스케일 프레임워크를 제시한다.

Figure 3 : Learning curves in stationary settings. Both MB-DQN (orange) and Choice-Assisted DQN (blue) converge to similar performance levels across all training durations (n=20 seeds per method, shaded regions show 95% confidence intervals). No significant differences are detected ( $p>0.05$ at all

실험 결과

연구 질문

• RQ1 CA-DQN이 DCM이 정상적으로 지정된 정상 상태에서 MB-DQN과 일치하는가?
• RQ2 CA-DQN이family 내 이동(수요/경쟁)에서의 견고성을 향상시키면서 성능 손실 없이 작동하는가?
• RQ3 DCM의 구조적 오정합(IIA 위반, 이질성, 시간적 동적성) 하에서 CA-DQN의 성능은 어떻게 되는가?
• RQ4 고정된 모델 보정 타깃을 사용할 때 Q-학습의 이론적 수렴 특성은 무엇인가?

주요 결과

• CA-DQN은 DCM 근사 오차에 의해 결정되는 불가피한 편향과 감소하는 샘플링 항을 포함하여 거의 최적에 근접한 Q-함수로 수렴한다.
• 정적 설정에서 CA-DQN은 DCM이 정확하면 MB-DQN과 통계적으로 유의한 차이가 나타나지 않아 실무적으로 동등하다고 볼 수 있다.
• CA-DQN은 가족 내 여러 이동에서 견고성을 향상시키며, 다중 비교를 보정한 일부 시나리오에서 최대 12.4%의 이득을 보인다.
• 구조적 오정합 하에서 CA-DQN은 일관되게 악화되며(오정합 검사에서 수익이 1.4%–2.6% 감소).
• 61,619건의 호텔 예약으로 보정된 시뮬레이터 실험은 견고성과 편향 간의 트레이드오프를 보여준다.

Figure 4 : Robustness under parameter shifts across 10 scenarios. Choice-Assisted DQN (blue bars) shows mixed results compared to MB-DQN (orange bars): significant improvements in 4 scenarios (up to +12.4% under low demand), significant underperformance in 2 scenarios (up to -9.6% under high competi