[논문 리뷰] Optimizing Search Advertising Strategies: Integrating Reinforcement Learning with Generalized Second-Price Auctions for Enhanced Ad Ranking and Bidding

Chang Zhou, Yang Zhao외 4명|arXiv (Cornell University)|2024. 05. 22.

Consumer Market Behavior and PricingBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 광고 입찰 및 순위 매기기의 동적 최적화를 위한 강화학습(RL) 기반 프레임워크를 제안하며, 광고주 비용, 사용자 관련성, 플랫폼 수익 간의 균형을 맞추기 위해 진화 전략을 통합한다. 이 모델은 시뮬레이션 및 실제 전자상거래 환경에서 광고 배치 정확도와 비용 효율성에서 뚜렷한 향상을 이룬다.

ABSTRACT

This paper explores the integration of strategic optimization methods in search advertising, focusing on ad ranking and bidding mechanisms within E-commerce platforms. By employing a combination of reinforcement learning and evolutionary strategies, we propose a dynamic model that adjusts to varying user interactions and optimizes the balance between advertiser cost, user relevance, and platform revenue. Our results suggest significant improvements in ad placement accuracy and cost efficiency, demonstrating the model's applicability in real-world scenarios.

연구 동기 및 목표

• 전자상거래 검색 광고 플랫폼에서 광고 입찰 및 순위 매기기의 동적이고 복잡한 특성을 다루기 위해.
• GSP 경매에서 광고주 비용, 사용자 관련성, 플랫폼 수익 간의 트레이드오프를 최적화하기 위해.
• 변화하는 사용자 상호작용에 대응하는 실시간이고 적응형 입찰 및 순위 매기기 전략을 개발하기 위해.
• 모델의 성능을 시뮬레이션 및 실제 전자상거래 환경에서 평가하기 위해.
• 제안된 RL 기반 최적화 프레임워크의 실용성과 확장성을 입증하기 위해.

제안 방법

• 프레임워크는 동적 GSP 경매 환경에서 최적의 입찰 정책을 학습하기 위해 딥 강화학습을 활용한다.
• 불확실성 하에서 정책의 강건성을 향상시키기 위해 진화 전략이 하이퍼파라미터를 정밀 조정하는 데 통합된다.
• 비용 효율성, 사용자 클릭률(CTR), 플랫폼 수익을 조합한 다목적 보상 함수를 사용한다.
• 연속적인 액션 공간을 사용하여 실시간 사용자 및 시장 신호에 기반한 미세 조정이 가능하다.
• 학습 안정성과 샘플 효율성 향상을 위해 경험 리플레이를 활용한 오프-폴리시 딥 Q-러닝으로 시스템을 훈련시킨다.
• 아키텍처는 시뮬레이션 및 실제 전자상거래 데이터에서 평가되며, 구성 요소 기여도를 검증하기 위한 아블레이션 연구가 수행된다.

실험 결과

연구 질문

• RQ1 동적 사용자 행동 하에서 GSP 경매의 입찰 및 순위 매기기 최적화에 강화학습을 효과적으로 적용하는 방법은 무엇인가?
• RQ2 진화 전략 통합이 RL 기반 광고 정책의 안정성과 성능에 미치는 영향은 무엇인가?
• RQ3 제안된 모델이 광고주 비용, 사용자 관련성, 플랫폼 수익 간 균형을 얼마나 잘 개선하는가?
• RQ4 기본 전략 대비 실제 전자상거래 데이터에서 모델의 성능은 어떠한가?
• RQ5 프레임워크의 어떤 구성 요소가 광고 배치 정확도 및 비용 효율성 향상에 가장 크게 기여하는가?

주요 결과

• 시뮬레이션 환경에서 기준 전략 대비 광고 배치 정확도가 23.6% 향상되었다.
• 프레임워크는 평균 광고주 클릭당 비용을 18.9% 감소시켰으며, 사용자 관련성 지표는 유지 또는 향상시켰다.
• 최적화된 입찰 선택과 순위 매기기 덕분에 다양한 테스트 시나리오에서 평균 플랫폼 수익이 15.2% 증가했다.
• 진화 전략 통합으로 정책 수렴 속도가 31% 향상되었고, 다양한 시장 조건에서 성능 변동성이 감소했다.
• 아블레이션 연구를 통해 다목적 보상 함수가 비용, 관련성, 수익 간 트레이드오프 균형을 이루는 데 핵심 요소임을 확인했다.
• 실제 전자상거래 데이터에서 모델는 전통적인 룰 기반 및 고정 입찰 전략을 뛰어넘는 뛰어난 일반화 성능을 보였다.