[論文レビュー] Autonomous Airline Revenue Management: A Deep Reinforcement Learning Approach to Seat Inventory Control and Overbooking

Syed Arbab Mohd Shihab, Caleb Logemann+2 more|arXiv (Cornell University)|Feb 18, 2019

Aviation Industry Analysis and Trends参考文献 11被引用数 16

ひとこと要約

本稿では、深層強化学習を用いた手法として、深層Qネットワーク（DQN）を用いて航空機の座席在庫管理およびオーバーブッキング問題を解くことを提案する。問題をマルコフ決定過程（MDP）としてモデル化し、多様な模擬市場環境下でほぼ最適な収益性能を達成した。これは、同時に複数の運賃クラスの乗客が到着し、キャンセルがランダムに発生する大規模で連続的な状態空間においても、優れた一般化性能を示している。

ABSTRACT

Revenue management can enable airline corporations to maximize the revenue generated from each scheduled flight departing in their transportation network by means of finding the optimal policies for differential pricing, seat inventory control and overbooking. As different demand segments in the market have different Willingness-To-Pay (WTP), airlines use differential pricing, booking restrictions, and service amenities to determine different fare classes or products targeted at each of these demand segments. Because seats are limited for each flight, airlines also need to allocate seats for each of these fare classes to prevent lower fare class passengers from displacing higher fare class ones and set overbooking limits in anticipation of cancellations and no-shows such that revenue is maximized. Previous work addresses these problems using optimization techniques or classical Reinforcement Learning methods. This paper focuses on the latter problem - the seat inventory control problem - casting it as a Markov Decision Process to be able to find the optimal policy. Multiple fare classes, concurrent continuous arrival of passengers of different fare classes, overbooking and random cancellations that are independent of class have been considered in the model. We have addressed this problem using Deep Q-Learning with the goal of maximizing the reward for each flight departure. The implementation of this technique allows us to employ large continuous state space but also presents the potential opportunity to test on real time airline data. To generate data and train the agent, a basic air-travel market simulator was developed. The performance of the agent in different simulated market scenarios was compared against theoretically optimal solutions and was found to be nearly close to the expected optimal revenue.

研究の動機と目的

• 動的需要下での複数運賃クラスにわたる最適な座席割り当てを通じて、航空会社の収益最大化に挑戦する。
• キャンセルやノーショーを考慮したオーバーブッキングポリシーを統合し、高運賃クラスの空き容量を維持する。
• 実世界の航空運航で一般的な大規模で連続的な状態空間に対応できるスケーラブルなソリューションを開発する。
• 深層強化学習を用いて自律エージェントを訓練し、リアルタイムで在庫意思決定を動的に調整する。
• 多様な模擬市場シナリオにおいて理論的最適解と比較してパフォーマンスを評価する。

提案手法

• 連続的状態空間を持つマルコフ決定過程（MDP）として、座席在庫管理およびオーバーブッキング問題を定式化する。
• 独自の航空旅行市場シミュレータと試行錯誤による相互作用を通じて、最適な座席割り当てポリシーを学習する深層Qネットワーク（DQN）エージェントを実装する。
• DQNフレームワークにおける学習の安定化と収束の向上のため、経験再生とターゲットネットワークを用いる。
• 異なる支払い意思図（WTP）分布を持つ複数の運賃クラスからの、同時に発生する連続的な乗客の到着をモデル化する。
• 運賃クラスに依存しないランダムなキャンセルを組み込み、現実のノーショー行動を模擬する。
• 現実の市場ダイナミクスと需要パターンを捉えたシミュレータによって生成された合成データを用いてエージェントを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、複数運賃クラスおよびオーバーブッキング機能を備えた航空会社収益管理環境において、ほぼ最適な在庫管理ポリシーを学習できるか？
• RQ2 需要とキャンセルの状況が変化する中で、DQNベースのエージェントのパフォーマンスは理論的最適解と比べてどの程度か？
• RQ3 連続的状態空間と同時に発生する乗客の到着を伴う多様な市場条件において、DQNエージェントの一般化能力はどの程度か？
• RQ4 エージェントは収益の回収とオーバーブッキングリスク、容量の代替の両立をどの程度効果的にバランスできるか？
• RQ5 ランダムなキャンセルは、動的需要下での高い収益を維持する能力に、エージェントにどのような影響を与えるか？

主な発見

• DQNエージェントは、全テスト市場シナリオにおいて理論的上限に非常に近い収益性能を達成した。
• モデルは、複数の運賃クラスと同時に発生する連続的な乗客の到着を効果的に管理しながら、高い収益効率を維持した。
• エージェントはランダムなキャンセルやノーショーに強く、オーバーブッキングリスクを最小限に抑えるために動的にオーバーブッキング限度を調整することで、耐性を示した。
• 大規模で連続的な状態空間に対しても効果的にスケーリングでき、明示的な状態離散化を必要とせずにリアルタイム意思決定を可能にした。
• 多様な需要分布と予約パターンにおいて一貫したパフォーマンスを示し、強力な一般化能力を示した。
• シミュレータによって生成された訓練データにより、予約行動、運賃クラス、収益結果の間の複雑な非線形関係をエージェントが学習できた。