[논문 리뷰] Autonomous Airline Revenue Management: A Deep Reinforcement Learning Approach to Seat Inventory Control and Overbooking

Syed Arbab Mohd Shihab, Caleb Logemann외 2명|arXiv (Cornell University)|2019. 02. 18.

Aviation Industry Analysis and Trends참고 문헌 11인용 수 16

한 줄 요약

이 논문은 항공사 좌석 재고 통제 및 오버부킹 문제를 마코프 결정 과정(Markov Decision Process)으로 모델링하여 딥 Q-네트워크(Deep Q-Networks)를 사용한 딥 강화학습 접근법을 제안한다. 이 방법은 다양한 시뮬레이션된 시장 조건에서 거의 최적의 수익 성능을 달성하며, 동시 다중 요금 등급 승객 도착과 무작위 취소를 수반하는 큰 연속 상태 공간에서도 강력한 일반화 능력을 보여준다.

ABSTRACT

Revenue management can enable airline corporations to maximize the revenue generated from each scheduled flight departing in their transportation network by means of finding the optimal policies for differential pricing, seat inventory control and overbooking. As different demand segments in the market have different Willingness-To-Pay (WTP), airlines use differential pricing, booking restrictions, and service amenities to determine different fare classes or products targeted at each of these demand segments. Because seats are limited for each flight, airlines also need to allocate seats for each of these fare classes to prevent lower fare class passengers from displacing higher fare class ones and set overbooking limits in anticipation of cancellations and no-shows such that revenue is maximized. Previous work addresses these problems using optimization techniques or classical Reinforcement Learning methods. This paper focuses on the latter problem - the seat inventory control problem - casting it as a Markov Decision Process to be able to find the optimal policy. Multiple fare classes, concurrent continuous arrival of passengers of different fare classes, overbooking and random cancellations that are independent of class have been considered in the model. We have addressed this problem using Deep Q-Learning with the goal of maximizing the reward for each flight departure. The implementation of this technique allows us to employ large continuous state space but also presents the potential opportunity to test on real time airline data. To generate data and train the agent, a basic air-travel market simulator was developed. The performance of the agent in different simulated market scenarios was compared against theoretically optimal solutions and was found to be nearly close to the expected optimal revenue.

연구 동기 및 목표

• 동적 수요 하에서 다중 요금 등급 간 최적의 좌석 배분을 통해 항공사 수익을 극대화하는 데 도전.
• 취소 및 노쇼(no-show)를 고려한 오버부킹 정책을 통합하면서도 고가격 등급의 수용 능력을 유지하는 것.
• 실제 항공사 운영에서 흔히 발생하는 큰 연속 상태 공간에 대응하는 확장 가능한 솔루션 개발.
• 실시간으로 동적으로 재고 결정을 조정할 수 있도록 딥 강화학습을 사용해 자율 에이전트를 훈련하는 것.
• 다양한 시뮬레이션된 시장 시나리오에서 이론적으로 최적의 해와 비교하여 성능 평가하기.

제안 방법

• 연속 상태 공간을 갖는 마코프 결정 과정(Markov Decision Process, MDP)으로 좌석 재고 통제 및 오버부킹 문제를 수식화한다.
• 사용자 정의된 항공여행 시장 시뮬레이터와의 시험-오류 상호작용을 통해 최적의 좌석 배분 정책을 학습하는 딥 Q-네트워크(DQN) 에이전트를 구현한다.
• DQN 프레임워크에서 훈련 안정성과 수렴성 향상을 위해 경험 재생(Experience Replay)과 타겟 네트워크(Target Networks)를 사용한다.
• 다양한 지불 의사도(Willingness-to-Pay, WTP) 분포를 갖는 다중 요금 등급에서의 동시 연속 승객 도착을 모델링한다.
• 요금 등급과 무관하게 무작위로 발생하는 취소를 도입하여 실제 노쇼 행동을 시뮬레이션한다.
• 실제 시장 역학과 수요 패턴을 반영한 시뮬레이터가 생성한 합성 데이터를 사용해 에이전트를 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 다중 요금 등급, 오버부킹 기능을 갖춘 항공사 수익 관리 환경에서 거의 최적의 좌석 재고 통제 정책을 학습할 수 있는가?
• RQ2 다양한 수요 및 취소 시나리오 하에서 DQN 기반 에이전트의 성능은 이론적으로 최적의 해와 비교해 어떻게 되는가?
• RQ3 연속 상태 공간과 동시 승객 도착 조건을 갖는 다양한 시장 조건에서 DQN 에이전트의 일반화 능력은 어느 정도인가?
• RQ4 에이전트는 수익 확보와 오버부킹 리스크, 수용 능력 침해 사이의 균형을 얼마나 효과적으로 유지하는가?
• RQ5 무작위 취소가 동적 수요 하에서 수익을 유지하는 데 있어 에이전트의 능력에 어떤 영향을 미치는가?

주요 결과

• DQN 에이전트는 모든 테스트 시장 시나리오에서 이론적 최상한 수익에 매우 가까운 성능을 달성하여 거의 최적의 수익을 기록했다.
• 에이전트는 다중 요금 등급과 동시 연속 승객 도착 조건을 효과적으로 관리하면서도 높은 수익 효율성을 유지했다.
• 에이전트는 무작위 취소 및 노쇼에 대해 동적으로 오버부킹 한도를 조정함으로써 오버부킹 리스크를 최소화하는 데 있어 뛰어난 강건성을 보였다.
• 대규모 연속 상태 공간에 대해 효과적으로 스케일업되어 명시적 상태 이산화 없이도 실시간 의사결정을 가능하게 했다.
• 다양한 수요 분포와 예약 패턴에서도 성능이 일관되게 유지되어 강력한 일반화 능력을 보였다.
• 시뮬레이터가 생성한 훈련 데이터 덕분에 에이전트는 예약 행동, 요금 등급, 수익 결과 간의 복잡한 비선형 관계를 학습할 수 있었다.