[論文レビュー] Reinforcement Learning for Fair Dynamic Pricing

Roberto Maestre, Juan Duque+2 more|arXiv (Cornell University)|Mar 27, 2018

Supply Chain and Inventory Management参考文献 30被引用数 6

ひとこと要約

本稿では、学習可能なハイパーパrameterを備えたガウス型報酬関数を用いて収益最大化と公平性のバランスをとる強化学習フレームワークを提案する。価格と公平性の状態を離散化し、線形Q値近似を採用し、回転させたJainの指標を用いて公平性を測定することで、シミュレート環境において収益性と公平な価格設定の安定したトレードオフを達成した。

ABSTRACT

Unfair pricing policies have been shown to be one of the most negative perceptions customers can have concerning pricing, and may result in long-term losses for a company. Despite the fact that dynamic pricing models help companies maximize revenue, fairness and equality should be taken into account in order to avoid unfair price differences between groups of customers. This paper shows how to solve dynamic pricing by using Reinforcement Learning (RL) techniques so that prices are maximized while keeping a balance between revenue and fairness. We demonstrate that RL provides two main features to support fairness in dynamic pricing: on the one hand, RL is able to learn from recent experience, adapting the pricing policy to complex market environments; on the other hand, it provides a trade-off between short and long-term objectives, hence integrating fairness into the model's core. Considering these two features, we propose the application of RL for revenue optimization, with the additional integration of fairness as part of the learning procedure by using Jain's index as a metric. Results in a simulated environment show a significant improvement in fairness while at the same time maintaining optimisation of revenue.

研究の動機と目的

• 動的価格設定システムにおける収益創出と公平性のバランスをとる課題に対処すること。
• 複数の顧客グループにおける価格設定のパフォーマンスと認識される公平性を同時に最適化する報酬関数を設計すること。
• 制約付き行動空間を用いた深層強化学習を用いて、スケーラブルで微分可能な公平価格設定手法を開発すること。
• 状態および行動空間の離散化を通じて、価格政策が極端に不公平な結果をもたらさないよう保証すること。
• 調整可能なハイパーパrameterを備えた多目的報酬を用いて、収益と公平性のトレードオフを実証的に検証すること。

提案手法

• 行動空間を[min, max]内に幅qの区間で離散化し、極端に不公平な価格が生成されないようにする。
• 線形Q値関数を用いて近似する：$ T_0(w_0, b_0): s \rightarrow a = w_0 \cdot X + b_0 $、学習可能な重みとバイアスを有する。
• 報酬関数は2つのガウス項の和として定義される：$ r = \beta_p \exp\left(-\frac{(p-p_t)^2}{\sigma_p}\right) + \beta_f \exp\left(-\frac{(f-f_t)^2}{\sigma_f}\right) $、価格と公平性の目標値をバランスさせる。
• 公平性は回転させたJainの指標で測定される：$ f = \frac{\left(\sum_{g\in G} \text{max}\{\mathcal{A}\} - \bar{g}\right)^2}{|\mathcal{G}| \sum_{g\in G} \left(\text{max}\{\mathcal{A}\} - \bar{g}\right)^2} \in [0,1] $、元の指標の主な性質を保持する。
• 入札の結果は確率過程としてモデル化される：拒否された場合、入札値はペナルティを受ける（例：ν = -0.5）；承認された場合、入札値はそのままで使用される。
• 1層の隠れ層を備えたニューラルネットワークを用いてQ値を近似し、標準的な強化学習の訓練手順でパラメータを更新する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、動的価格設定において収益と公平性の両方を最適化するためにどのように訓練されるか？
• RQ2 表現力と学習収束性の両立を図るための状態空間および行動空間の最適な離散化は何か？
• RQ3 公平性を定量的に測定し、収益に悪影響を及げない形で強化学習の報酬関数に統合する方法は何か？
• RQ4 多目的設定において、安定的かつ効果的な学習をもたらす報酬関数のハイパーパramータ設定は何か？
• RQ5 回転させたJainの指標は、有界性や連続性といった数学的性質を保ちつつ、動的価格設定における公平性を効果的に表現できるか？

主な発見

• 状態および行動空間におけるpおよびqの離散化が約0.01であると、表現力と学習収束性のバランスが良好にとれる。
• ガウス型報酬関数は、目標価格および公平性レベルへのエージェントの誘導を効果的に実現し、目的方向への偏向を示す。
• 拒否された入札に対して定数ペナルティ（ν = -0.5）を適用することで、拒否率が低く抑えられ、期待収益にとって重要である。
• 回転させたJainの指標は、元の公平性指標の主な性質を保持するとともに、動的価格設定における効果的な最適化を可能にする。
• 報酬のハイパーパラメータおよび離散化パラメータの慎重な選定が、成功した学習とパフォーマンスにとって不可欠である。
• 本手法は、収益と公平性を効果的にバランスさせることができ、たとえば公平性レベル0.85を指定しつつ入札価格を最大化する能力が実証された。