[논문 리뷰] Reinforcement Mechanism Design, with Applications to Dynamic Pricing in Sponsored Search Auctions

Weiran Shen, Binghui Peng외 8명|arXiv (Cornell University)|2017. 11. 28.

Auction Theory and Applications참고 문헌 28인용 수 24

한 줄 요약

이 논문은 강화학습을 활용하여 스폰서드 서치 경매에서 예비 입찰가격을 동적으로 최적화하는 강화 메커니즘 설계 프레임워크를 제안한다. 데이터 기반 입찰자 행동 모델과 MCTS 기반 최적화 알고리즘을 결합하여 장기 수익 창출 측면에서 정적 및 동적 기준 전략보다 뚜렷이 뛰어난 성능을 보인다. 실제 입찰 데이터를 바탕으로 한 시뮬레이션 결과, 이는 장기 수익 창출 측면에서 뛰어난 성능을 보인다.

ABSTRACT

In this study, we apply reinforcement learning techniques and propose what we call reinforcement mechanism design to tackle the dynamic pricing problem in sponsored search auctions. In contrast to previous game-theoretical approaches that heavily rely on rationality and common knowledge among the bidders, we take a data-driven approach, and try to learn, over repeated interactions, the set of optimal reserve prices. We implement our approach within the current sponsored search framework of a major search engine: we first train a buyer behavior model, via a real bidding data set, that accurately predicts bids given information that bidders are aware of, including the game parameters disclosed by the search engine, as well as the bidders' KPI data from previous rounds. We then put forward a reinforcement/MDP (Markov Decision Process) based algorithm that optimizes reserve prices over time, in a GSP-like auction. Our simulations demonstrate that our framework outperforms static optimization strategies including the ones that are currently in use, as well as several other dynamic ones.

연구 동기 및 목표

• 입찰자가 이성적이고 공통 지식을 가진다는 비현실적인 가정에 의존하는 정적, 게임 이론 기반 경매 설계의 한계를 해결하기 위해.
• 실제 입찰 행동에서 학습하는 데이터 기반의 동적 가격 설정 프레임워크를 개발하여 시간이 지남에 따라 예비 입찰가격을 최적화하기 위해.
• 현재 산업 관행 및 이론적 정적 최적화를 초월하여 스폰서드 서치 경매에서 수익 성능을 향상시키기 위해.
• 입찰자 행동을 마르코프 기반으로 모델링하고, 강화학습을 활용해 변화하는 입찰자 전략에 대응하여 예비 입찰가격을 조정하기 위해.

제안 방법

• 실제 입찰 데이터를 기반으로 순환 신경망(RNN) 입찰자 행동 모델을 훈련하여 공개된 게임 매개변수와 이력 KPI를 바탕으로 입찰액을 예측한다.
• 예비 입찰가격 최적화 문제를 마르코프 결정 과정(MDP)으로 공식화하며, 상태는 현재 경매 매개변수와 입찰자 행동을 포함한다.
• 미래의 경매 결과를 시뮬레이션하기 위해 시간이 지남에 따라 최적의 예비 입찰가격을 탐색하고 선택하기 위해 몬테카를로 트리 탐색(MCTS)을 사용한다.
• 수익 증대와 플랫폼 안정성의 균형을 맞추기 위해 설정 가능한 시간 간격(Δt)을 가진 동적 업데이트 메커니즘을 구현한다.
• 입찰자 모델과 MCTS를 피드백 루프에 통합: 업데이트된 예비 입찰가격을 기반으로 경매를 시뮬레이션하고 예측을 반복적으로 개선한다.
• 비교를 위해 Myerson의 수익 최적화 기반 정적 최적 예비 입찰가격을 기준으로 사용한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 강화학습 기반 접근 방식이 스폰서드 서치 경매에서 정적 및 히우리스틱 기반 동적 가격 설정 전략보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 다양한 업데이트 주기(Δt)에서 동적 예비 입찰가격 최적화의 성능는 어떻게 달라지는가?
• RQ3 학습된 입찰자 행동 모델이 평형 기반 또는 정적 가정에 비해 장기 수익 측면에서 얼마나 향상시킬 수 있는가?
• RQ4 입찰자들은 예비 입찰가격의 급격한 변화에 어떻게 반응하는가? 그리고 시스템은 수익 안정성을 유지하기 위해 이를 어떻게 적응할 수 있는가?

주요 결과

• 제안된 강화 메커니즘 설계 프레임워크는 Baidu의 현재 생산 시스템(BAIDU)을 포함한 모든 정적 전략보다 뚜렷이 높은 장기 수익을 달성한다.
• MCTS 기반 동적 전략은 국소적이고 5% 기반 조정만 하는 GREEDY 히우리스틱보다 뛰어난 성능을 보인다.
• 공격적인 가격 전략(예: 예비 입찰가격 급상승)에서 수익은 처음에는 급격히 증가하지만, 입찰자들이 적응하면서 급격히 감소함을 보여주며, 점진적인 최적화의 필요성을 강조한다.
• 프레임워크는 정적 최적 전략(STATIC_OPT)보다 더 높은 수익 수준에 수렴한다. STATIC_OPT는 초반에는 잘 작동하지만, 적응하지 못해 시간이 지남에 따라 성능이 떨어진다.
• 더 긴 업데이트 간격(Δt = 7)은 매일 업데이트(Δt = 1)보다 더 높은 수익과 더 빠른 수렴 속도를 보이며, 덜 자주, 더 안정적인 조정이 더 효과적임을 시사한다.
• GREEDY 알고리즘의 성능은 Δt = 3일 때 MCTS 기반 방법과 거의 동일한 성능을 보이며, MCTS가 전략적 계획 수립에서 의미 있는 이점을 제공한다는 것을 보여준다.