[論文レビュー] Adaptive Model Selection Framework: An Application to Airline Pricing

Naman Shukla, Arinbjörn Kolbeinsson+2 more|arXiv (Cornell University)|May 21, 2019

Advanced Bandit Algorithms Research参考文献 11被引用数 3

ひとこと要約

本論文は、マルチアームバンディット設定においてトーマスサンプリングを用いた適応的メタ意思決定フレームワークを提案し、リアルタイムで航空会社の顧客を最良のパフォーマンスを示すアミューティー料金モデルに動的にルーティングすることを目的としている。オンライン反応から継続的に学習することで、ランダムなモデル選択と比較して1オファーあたりの収益を43%、コンversions（コンversions）を58%向上させ、多様な顧客状況においていかなる単一モデルよりも優れた性能を示した。

ABSTRACT

Multiple machine learning and prediction models are often used for the same prediction or recommendation task. In our recent work, where we develop and deploy airline ancillary pricing models in an online setting, we found that among multiple pricing models developed, no one model clearly dominates other models for all incoming customer requests. Thus, as algorithm designers, we face an exploration - exploitation dilemma. In this work, we introduce an adaptive meta-decision framework that uses Thompson sampling, a popular multi-armed bandit solution method, to route customer requests to various pricing models based on their online performance. We show that this adaptive approach outperform a uniformly random selection policy by improving the expected revenue per offer by 43% and conversion score by 58% in an offline simulation.

研究の動機と目的

• すべての顧客状況において一貫して優れたパフォーマンスを示すモデルが存在しないオンライン航空アミューティー料金におけるエクスプロレーションとエクスプロイテーションのジレンマに対処すること。
• リアルタイムで顧客リクエストを最も効果的な料金モデルに適応的にルーティングすることで、収益およびコンversions（コンversions）指標を向上させること。
• 静的でないオフライン指標に依存せずに、スケーラブルなメタ意思決定フレームワークを構築し、動的でデータ駆動型のモデル選択を可能にすること。
• 将来的なコンテキスト付きマルチアームバンディット手法のオンラインレコメンデーションおよび料金システムへの導入の基盤を築くこと。

提案手法

• 各モデルをマルチアームバンディットフレームワークにおける「アーム」として扱い、各アームは異なる機械学習料金モデルに対応する。
• パフォーマンスの事後分布に基づいて確率的にモデルを選択することで、エクスプロレーションとエクスプロイテーションのバランスを取るためにトーマスサンプリングが用いられる。
• リアルタイムの顧客反応（購入／非購入）を用いて、各モデルのコンversions（コンversions）確率に関する事後信念をベータ＝二項分布の共役事前分布を用いて更新する。
• システムは、劣悪なモデルへのトラフィックを自動的に減らすことで、アクティブラーニングをサポートし、エクスプロレーション中の収益損失を最小限に抑える。
• 顧客固有の特徴（例：旅行タイプ、ルート）を統合することで、コンテキスト付きバンディットにアプローチを拡張し、ルーティングの精度を向上させる。
• 実世界の航空会社データを用いて、収益／オファーおよびコンversions（コンversions）率を測定するためのシミュレーション環境を構築する。

実験結果

リサーチクエスチョン

• RQ1 動的航空アミューティー料金において、適応的ルーティング機構はランダムまたは固定モデル選択を上回ることができるか？
• RQ2 トーマスサンプリングに基づくモデル選択は、オンライン環境における収益／オファーおよびコンversions（コンversions）率といったビジネス指標をどのように改善するか？
• RQ3 メタ意思決定フレームワークは、静的またはルールベースのルーティングと比較して、モデルエクスプロレーション中の収益損失をどの程度低減できるか？
• RQ4 フレームワークは非定常環境およびコンテキスト付き顧客特徴を処理するために拡張可能か？
• RQ5 注意ベースのサンプリングおよび一致度（concurrence）の導入は、実稼働環境におけるロバストネスとパフォーマンスをどのように向上させるか？

主な発見

• オフラインシミュレーションにおいて、適応的モデル選択フレームワークは、均一にランダムなモデル選択ポリシーと比較して、期待収益／オファーを43%向上させた。
• フレームワークは、ランダムベースラインと比較してコンversions（コンversions）スコアを58%向上させ、顧客反応率の顕著な向上を示した。
• 文脈に応じたモデルの強みに適応する動的ルーティングのおかげで、単一モデルの個別運用よりも優れた全体的なパフォーマンスを達成した。
• トーマスサンプリングは、エクスプロレーションとエクスプロイテーションのバランスを効果的にとらえ、長期的レジストラル（regret）を低減し、劣悪なモデル使用による収益損失を最小限に抑えた。
• システムは、時間経過とともに劣化するモデルの重みを自動的に低下させ、エクスプロレーションフェーズ中の収益保護を実現した。
• フレームワークはコンテキスト付きバンディットに拡張可能であり、将来的な注意ベースのサンプリングおよび一致度の統合をサポートし、より高いロバストネスを実現できる。