[논문 리뷰] Reinforcement Learning for Fair Dynamic Pricing

Roberto Maestre, Juan Duque외 2명|arXiv (Cornell University)|2018. 03. 27.

Supply Chain and Inventory Management참고 문헌 30인용 수 6

한 줄 요약

이 논문은 학습 가능한 초모수를 가진 가우시안형 보상 함수를 사용하여 수익 극대화와 공정성의 균형을 이루는 동적 가격 설정을 위한 강화학습 프레임워크를 제안한다. 가격과 공정성 상태를 이산화하고 선형 Q-값 근사법을 적용하며, 공정성을 측정하기 위해 기울인 재팬의 지수를 사용하여 시뮬레이션 환경에서 수익성과 공정한 가격 설정 간에 안정적인 트레이드오프를 달성한다.

ABSTRACT

Unfair pricing policies have been shown to be one of the most negative perceptions customers can have concerning pricing, and may result in long-term losses for a company. Despite the fact that dynamic pricing models help companies maximize revenue, fairness and equality should be taken into account in order to avoid unfair price differences between groups of customers. This paper shows how to solve dynamic pricing by using Reinforcement Learning (RL) techniques so that prices are maximized while keeping a balance between revenue and fairness. We demonstrate that RL provides two main features to support fairness in dynamic pricing: on the one hand, RL is able to learn from recent experience, adapting the pricing policy to complex market environments; on the other hand, it provides a trade-off between short and long-term objectives, hence integrating fairness into the model's core. Considering these two features, we propose the application of RL for revenue optimization, with the additional integration of fairness as part of the learning procedure by using Jain's index as a metric. Results in a simulated environment show a significant improvement in fairness while at the same time maintaining optimisation of revenue.

연구 동기 및 목표

• 동적 가격 설정 시스템에서 수익 창출과 공정성의 균형을 맞추는 데 도전하는 것.
• 고객 그룹 간의 가격 성능과 인식된 공정성을 동시에 최적화하는 보상 함수를 설계하는 것.
• 제약된 행동 공간을 가진 딥 강화학습을 사용하여 확장 가능하고 미분 가능한 공정한 가격 설정 방법을 개발하는 것.
• 상태 및 행동 공간의 이산화를 통해 가격 정책이 과도하게 불공정한 결과를 초래하지 않도록 보장하는 것.
• 조정 가능한 초모수를 가진 다목적 보상 함수를 사용하여 수익과 공정성의 트레이드오프를 실증적으로 검증하는 것.

제안 방법

• 행동 공간은 [min, max] 범위 내에서 폭 q의 간격으로 이산화되어, 과도하게 불공정한 가격이 생성되지 않도록 보장한다.
• 선형 Q-값 함수를 사용한 근사: $ T_0(w_0, b_0): s \rightarrow a = w_0 \cdot X + b_0 $, 학습 가능한 가중치와 편향을 포함한다.
• 보상 함수는 두 개의 가우시안 항의 합으로 정의된다: $ r = \beta_p \exp\left(-\frac{(p-p_t)^2}{\sigma_p}\right) + \beta_f \exp\left(-\frac{(f-f_t)^2}{\sigma_f}\right) $, 가격과 공정성 목표 간의 균형을 맞춘다.
• 공정성은 기울인 재팬의 지수를 통해 측정된다: $ f = \frac{\left(\sum_{g\in G} \text{max}\{\mathcal{A}\} - \bar{g}\right)^2}{|\mathcal{G}| \sum_{g\in G} \left(\text{max}\{\mathcal{A}\} - \bar{g}\right)^2} \in [0,1] $, 원래 지수의 주요 성질을 유지한다.
• 입찰 결과는 확률적 과정으로 모델링된다: 기각된 경우 입찰 값에 벌점이 적용된다(예: ν = -0.5); 수락된 경우 입찰 값은 그대로 사용된다.
• Q-값을 근사하기 위해 은닉층이 하나인 신경망을 사용하며, 표준 강화학습 학습 절차에 따라 매개변수를 업데이트한다.

실험 결과

연구 질문

• RQ1 어떻게 강화학습 에이전트를 훈련시켜 동적 가격 설정에서 수익과 공정성을 동시에 최적화할 수 있는가?
• RQ2 표현력과 학습 수렴성의 균형을 맞추기 위해 상태 및 행동 공간의 최적의 이산화 방법은 무엇인가?
• RQ3 수익을 손상시키지 않으면서 공정성을 정량적으로 측정하고 강화학습 보상 함수에 통합하는 방법은 무엇인가?
• RQ4 다목적 설정에서 안정적이고 효과적인 학습을 위한 보상 함수의 초모수 설정은 무엇인가?
• RQ5 기울인 재팬의 지수는 수학적 성질인 유계성과 연속성을 유지하면서도 동적 가격 설정에서 공정성을 효과적으로 표현할 수 있는가?

주요 결과

• p와 q의 이산화 간격을 약 0.01로 설정할 경우 상태 및 행동 공간에서 표현력과 학습 수렴성 간의 균형을 잘 맞춘다.
• 가우시안형 보상 함수는 목표 가격과 공정성 수준으로 에이전트를 효과적으로 이끌며, 목표 향한 방향성 있는 선호를 제공한다.
• 기각된 입찰에 대해 일정한 벌점을 적용함(예: ν = -0.5)함으로써 거래 거부 비율을 낮추는 데 기여하며, 이는 기대 수익에 매우 중요하다.
• 기울인 재팬의 지수는 원래 공정성 지수의 주요 성질을 유지하면서도 동적 가격 설정에서 효과적인 최적화를 가능하게 한다.
• 보상 함수의 초모수 및 이산화 매개변수의 신중한 선택이 성공적인 학습과 성능에 매우 중요하다.
• 실증적으로 특정 공정성 수준(예: 0.85)을 목표로 하면서도 입찰 가격을 극대화할 수 있도록 수익과 공정성을 효과적으로 균형 잡는 데 성공했다.