[논문 리뷰] Reinforcement Mechanism Design for e-commerce

Qingpeng Cai, Aris Filos-Ratsikas외 2명|arXiv (Cornell University)|2017. 08. 25.

Auction Theory and Applications참고 문헌 31인용 수 3

한 줄 요약

이 논문은 전자상거래 플랫폼에서 인상 할당을 위한 강화학습 기반 알고리즘인 IA(GRU)를 제안한다. 이 알고리즘은 판매자의 전략적 행동을 고려하며, 할당 문제를 마르코프 결정 과정(MDP)으로 모델링하고, DDPG에 영감을 받은 GRU 기반 액터-크리틱 아키텍처를 사용하여 우수한 수익성과 안정성을 달성한다. 다양한 판매자 이성 모델에서 DDPG 및 히우리스틱 기반 기준선보다 뛰어난 성능을 보이며, 고정 및 가변적인 판매자 설정 모두에서 뛰어난 성능을 발휘한다.

ABSTRACT

We study the problem of allocating impressions to sellers in e-commerce websites, such as Amazon, eBay or Taobao, aiming to maximize the total revenue generated by the platform. We employ a general framework of reinforcement mechanism design, which uses deep reinforcement learning to design efficient algorithms, taking the strategic behaviour of the sellers into account. Specifically, we model the impression allocation problem as a Markov decision process, where the states encode the history of impressions, prices, transactions and generated revenue and the actions are the possible impression allocations in each round. To tackle the problem of continuity and high-dimensionality of states and actions, we adopt the ideas of the DDPG algorithm to design an actor-critic policy gradient algorithm which takes advantage of the problem domain in order to achieve convergence and stability. We evaluate our proposed algorithm, coined IA(GRU), by comparing it against DDPG, as well as several natural heuristics, under different rationality models for the sellers - we assume that sellers follow well-known no-regret type strategies which may vary in their degree of sophistication. We find that IA(GRU) outperforms all algorithms in terms of the total revenue.

연구 동기 및 목표

• 판매자의 전략적 행동을 고려하면서 총 수익을 극대화하는 전자상거래 플랫폼을 위한 효율적인 인상 할당 메커니즘을 설계하는 것.
• 협업 필터링과 같은 히우리스틱 접근 방식의 한계를 해결하는 것 — 이는 동적 가격 전략과 장기적 수익 트레이드오프를 간과하기 때문이다.
• 판매자 이성성을 무작위 손실 학습 전략을 통해 모델링하는 확장 가능하고 안정적인 강화학습 프레임워크를 개발하는 것.
• ε-그리디, ε-프리스트, UCB1, Exp3와 같은 다양한 이성 모델 — 실제 전자상거래에서 관찰되는 제한된 이성성을 반영하는 — 에서의 성능 평가.
• 수천 명의 판매자가 참여하는 대규모 설정에서 제안된 방법의 확장성과 강건성을 입증하는 것.

제안 방법

• 인상 할당 문제를 상태가 역사를 기반으로 한 인상 데이터, 가격, 거래 및 수익을 포함하는 MDP로 모델링한다.
• 제안된 IA(GRU) 알고리즘은 순환 신경망 기반의 GRU를 사용하여 순차적 상태 기록을 처리함으로써 판매자 행동의 장기적 의존성을 효과적으로 모델링한다.
• 액터-크리틱 기반의 딥 강화학습 프레임워크를 사용하며, 수렴성과 안정성을 향상시키기 위해 도메인 특화 수정을 가한 DDPG 알고리즘을 응용한다.
• 정책 기반 강화학습 방법을 사용하여 엔드 투 엔드로 학습하며, 전략적 판매자 행동 하에서 장기 수익을 최적화한다.
• 10,000명의 판매자를 포함한 대규모 설정을 다루기 위해 스케일-앤드-솔브 접근 방식을 적용하며, 문제를 50개의 하위 문제로 나누어 각각 200명의 판매자로 구성한다.
• ε-그리디, ε-프리스트, UCB1, Exp3를 포함한 다양한 이성 모델에서 성능을 평가하여 판매자 의사결정의 제한된 이성성을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 메커니즘 설계 프레임워크가 전략적 판매자 행동 하에서 기존의 히우리스틱 기반 접근 방식보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 제안된 IA(GRU) 알고리즘이 ε-그리디 및 UCB1과 같은 다양한 판매자 이성 모델에서 어떻게 성능을 발휘하는가?
• RQ3 GRU 기반 메모리 통합이 고차원적이고 연속적인 상태-행동 공간에서 학습 안정성과 수렴성에 기여하는가?
• RQ4 IA(GRU) 알고리즘이 수천 명의 판매자가 참여하는 대규모 전자상거래 플랫폼에 효과적으로 확장 가능한가?
• RQ5 다양하고 이질적인 판매자 인구구성에서 DDPG 및 히우리스틱 기준선 대비 IA(GRU)의 성능과 안정성은 어떠한가?

주요 결과

• IA(GRU)는 ε-그리디, ε-프리스트, UCB1, Exp3를 포함한 모든 테스트된 판매자 이성 모델에서 평균 수익 측면에서 DDPG, 그리디 미로우, Linear UCB 히우리스틱을 일관되게 능가한다.
• DDPG는 200명의 판매자에서 수렴하지 못하며 고차원 설정에서의 불안정성을 보이며, 반면 IA(GRU)는 안정적이고 높은 성능을 유지한다.
• 가변적인 판매자 설정에서는 다른 알고리즘들이 동적 조건에서 심각하게 성능이 떨어지는 데 비해, IA(GRU)는 뛰어난 안정성과 성능을 유지한다.
• 10,000명의 판매자에 대한 스케일-앤드-솔브 히우리스틱 조건에서도 IA(GRU)는 DDPG 및 히우리스틱 대비 명확한 성능 우위를 유지하며 확장성을 입증한다.
• 혼합된 이성 전략을 사용하는 이질적인 판매자 인구구성에서 IA(GRU)는 더 높은 총 수익과 더 나은 수렴성을 달성한다.
• IA(GRU)에서 GRU의 사용은 이전 상태의 기억을 향상시켜 학습 안정성 향상과 장기 수익 최적화에 기여한다.