[논문 리뷰] AuctionNet: A Novel Benchmark for Decision-Making in Large-Scale Games

Kefan Su, Yusen Huo외 6명|arXiv (Cornell University)|2024. 12. 14.

Auction Theory and ApplicationsDecision Sciences인용 수 3

한 줄 요약

AuctionNet는 실제 온라인 광고 플랫폼에서 유래한 실세계 데이터 시뮬레이션을 기반으로 한 대규모 광고 입찰에서의 의사결정을 위한 새로운 벤치마크이다. 깊이 있는 생성 모델링을 활용한 광고 기회 시뮬레이션 환경, 사용자 정의 가능한 GSP 기반 입찰 방식, 48개의 자동입찰 에이전트를 포함하며, 5억 건의 데이터 레코드를 바탕으로 강화학습 및 선형계획법 등의 알고리즘에 대한 철저한 평가를 가능하게 하며, NeurIPS 2024 경연대회를 통해 검증되었다.

ABSTRACT

Decision-making in large-scale games is an essential research area in artificial intelligence (AI) with significant real-world impact. However, the limited access to realistic large-scale game environments has hindered research progress in this area. In this paper, we present AuctionNet, a benchmark for bid decision-making in large-scale ad auctions derived from a real-world online advertising platform. AuctionNet is composed of three parts: an ad auction environment, a pre-generated dataset based on the environment, and performance evaluations of several baseline bid decision-making algorithms. More specifically, the environment effectively replicates the integrity and complexity of real-world ad auctions through the interaction of several modules: the ad opportunity generation module employs deep generative networks to bridge the gap between simulated and real-world data while mitigating the risk of sensitive data exposure; the bidding module implements diverse auto-bidding agents trained with different decision-making algorithms; and the auction module is anchored in the classic Generalized Second Price (GSP) auction but also allows for customization of auction mechanisms as needed. To facilitate research and provide insights into the environment, we have also pre-generated a substantial dataset based on the environment. The dataset contains 10 million ad opportunities, 48 diverse auto-bidding agents, and over 500 million auction records. Performance evaluations of baseline algorithms such as linear programming, reinforcement learning, and generative models for bid decision-making are also presented as a part of AuctionNet. We believe that AuctionNet is applicable not only to research on bid decision-making in ad auctions but also to the general area of decision-making in large-scale games.

연구 동기 및 목표

• 광고 입찰 분야의 인공지능 연구를 위한 현실적이고 접근 가능한 대규모 게임 환경의 부족을 해결하기 위해.
• 실세계 광고 입찰 동역학을 반영하면서도 확장 가능하고 개인정보 보호를 고려한 벤치마크를 개발하기 위해.
• 복잡한 다중 에이전트 및 시간에 따라 변화하는 조건 하에서 입찰 의사결정 알고리즘의 체계적 평가를 가능하게 하기 위해.
• 표준화되고 재현 가능한 테스트베드를 제공하여 강화학습, 메커니즘 설계 및 운영 연구 분야의 연구를 지원하기 위해.
• 대규모 시스템에서의 불확실성 하에서의 전략적 의사결정에 대한 향후 연구의 기반을 마련하기 위해.

제안 방법

• 광고 기회 생성 모듈은 시뮬레이션과 실제 분포 사이의 격차를 메우는 현실적이고 개인정보 보호를 고려한 데이터를 생성하기 위해 깊이 있는 생성 네트워크를 사용한다.
• 입찰 모듈은 강화학습, 선형계획법, 생성 모델링 등 다양한 알고리즘으로 훈련된 48개의 다양한 자동입찰 에이전트를 지원한다.
• 입찰 모듈은 일반화된 제2가격 입찰(GSP) 메커니즘에 기반하지만, 다양한 연구 시나리오를 지원하기 위해 사용자 정의 가능한 입찰 규칙을 허용한다.
• 광고 가치의 시간적 패턴은 트랜스포머와 디퓨전 모델에 영감을 받은 위치 인코딩을 사용하여 모델링하여, 시간 시리즈 입찰 결정에서의 시퀀스 모델링 성능을 향상시킨다.
• 문맥적 특징을 기반으로 광고 기회 가치를 예측하기 위해 다중 헤드 어텐션을 갖춘 U-Net 유사 아키텍처를 사용하여 가치 예측 모델을 훈련시킨다.
• 벤치마크는 사전 생성된 1,000만 건의 광고 기회, 48개의 에이전트, 5억 건 이상의 입찰 기록을 포함하여 재현 가능한 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 입찰 의사결정 알고리즘인 선형계획법과 강화학습이 대규모이고 현실적인 광고 입찰 환경에서 얼마나 잘 일반화되는가?
• RQ2 깊이 있는 생성 모델링이 개인정보 보호를 유지하면서도 실세계 광고 입찰 동역학을 효과적으로 시뮬레이션할 수 있는가?
• RQ3 다양한 제약 조건, 예를 들어 ROI 목표 및 예산 제한 하에서 경쟁적인 다중 에이전트 환경에서 다양한 자동입찰 전략은 어떻게 성능을 내는가?
• RQ4 이 벤치마크는 다양한 입찰 메커니즘에서 의사결정 알고리즘의 확장 가능하고 재현 가능한 평가를 지원할 수 있는가?
• RQ5 시뮬레이션되었지만 현실적인 환경에서 5억 건의 입찰 기록을 분석함으로써 어떤 통찰을 도출할 수 있는가?

주요 결과

• AuctionNet은 NeurIPS 2024 대규모 입찰에서의 자동입찰 경연대회를 성공적으로 주관하여 1,500개 이상의 팀이 참여한 표준화된 환경을 제공하였다.
• 광고 기회에 대한 깊이 있는 생성 모델링을 통해 실세계 광고 입찰 동역학, 시간적 패턴 및 다중 에이전트 경쟁을 고정밀도로 시뮬레이션할 수 있었다.
• 성능 평가 결과, 강화학습 및 생성 모델링 접근 방식이 경쟁적인 성능을 보였으며, 다양한 ROI 목표에서 안정성과 적응성 간의 명확한 트레이드오프가 확인되었다.
• 5억 건 이상의 사전 생성된 입찰 기록 데이터셋은 다양한 시나리오에서 입찰 의사결정 알고리즘의 강력하고 재현 가능한 평가를 가능하게 하였다.
• 위치 인코딩과 다중 헤드 어텐션 메커니즘의 통합은 가치 예측 정확도를 향상시켜 보다 우수한 전략적 입찰 결정을 지원하였다.
• 이 벤치마크는 광고 입찰 이외의 분야인 강화학습, 메커니즘 설계 및 운영 연구 분야에서도 넓은 응용 잠재력을 보였다.