[논문 리뷰] Equilibrium Learning in Combinatorial Auctions: Computing Approximate Bayesian Nash Equilibria via Pseudogradient Dynamics

Stefan Heidekrüger, Paul Sutterer외 3명|arXiv (Cornell University)|2021. 01. 28.

Auction Theory and Applications참고 문헌 30인용 수 6

한 줄 요약

이 논문은 조합 Auction에서 근사 베이즈-내쉬 균형(BNE)을 계산하기 위한 확장 가능하고 미분 가능한 방법인 신경 허위기울기 상승(Neural Pseudogradient Ascent, NPGA)을 제안한다. 전략을 신경망으로 표현하고 자기연습(self-play)에서 진화 전략 기반 허위기울기 추정을 사용한다. 다양한 Auction 환경에서 ex-ante ϵ-BNE로 빠르고 안정적으로 수렴하며, 약간의 정규성 조건 하에 이론적 수렴 보장을 갖는다.

ABSTRACT

Applications of combinatorial auctions (CA) as market mechanisms are prevalent in practice, yet their Bayesian Nash equilibria (BNE) remain poorly understood. Analytical solutions are known only for a few cases where the problem can be reformulated as a tractable partial differential equation (PDE). In the general case, finding BNE is known to be computationally hard. Previous work on numerical computation of BNE in auctions has relied either on solving such PDEs explicitly, calculating pointwise best-responses in strategy space, or iteratively solving restricted subgames. In this study, we present a generic yet scalable alternative multi-agent equilibrium learning method that represents strategies as neural networks and applies policy iteration based on gradient dynamics in self-play. Most auctions are ex-post nondifferentiable, so gradients may be unavailable or misleading, and we rely on suitable pseudogradient estimates instead. Although it is well-known that gradient dynamics cannot guarantee convergence to NE in general, we observe fast and robust convergence to approximate BNE in a wide variety of auctions and present a sufficient condition for convergence

연구 동기 및 목표

• 연속적인 유형과 행동 공간을 가진 조합 Auction에서 베이즈-내쉬 균형(BNE)을 계산하기 위한 확장 가능한 수치적 방법의 부족을 해결하기 위해.
• ex-post Auction 수익의 비가역성으로 인해 표준 기울기 방법을 직접 적용할 수 없음을 해결하기 위해.
• 문제에 특화된 서브루틴이 아닌 Auction 결과 평가만으로도 작동하는 일반적이고 하드웨어 가속화된 균형 학습 프레임워크를 개발하기 위해.
• 기울기의 리프시츠 연속성과 정 polit의 보편적 근사 가능성 등의 약간의 정규성 조건 하에 근사 BNE로의 이론적 수렴을 확립하기 위해.
• 단일 항목 및 조합 Auction에서의 경험적 검증을 통해 알려진 분석적 BNE를 복원하고 안정적인 수렴을 보여주기 위해.

제안 방법

• 개별 에이전트의 전략을 사전 평가에 대한 연속적인 입찰 함수를 매개변수화하기 위해 신경망으로 표현한다.
• 비가역적인 Auction 결과에도 불구하고 기울기 계산이 가능하도록, 진화 전략(ES) 기반의 허위기울기 추정을 사용한 정책 기반 기울기 업데이트를 포함하는 자기연습을 시행한다.
• 부드럽게 처리된 ex-ante 유틸리티 함수에 대한 온라인 기울기 상승을 위해 유클리드 정규화를 사용한 이중 평균을 적용하여 적절한 단계 크기 하에서 수렴을 보장한다.
• 전략의 가우시안 스무딩을 통해 부드러운 게임 $reve{G}^{ au}$ 를 도입함으로써 유한 분산, 불편향 있는 기울기 추정기와 이론적 수렴 분석이 가능하게 한다.
• 부드러운 게임의 볼록성과 ex-interim 기울기의 리프시츠 연속성에 기반한 수렴을 위한 충분조건을 적용한다.
• GPU 가속을 활용하여 다수의 에이전트와 전략 프로파일 간의 정책 평가 및 기울기 추정을 병렬화한다.

실험 결과

연구 질문

• RQ1 연속적인 행동 및 유형 공간을 가진 베이지안 게임, 특히 조합 Auction에서 일반적이고 확장 가능한 균형 학습 방법을 개발할 수 있는가?
• RQ2 대부분의 Auction 메커니즘에서 수익 함수가 가역적이지 않은 상황에서 기울기 동역학을 어떻게 적용할 수 있는가?
• RQ3 진화 전략 기반 허위기울기 추정기를 사용할 경우, 다중 에이전트 베이지안 게임에서 안정적이고 수렴 가능한 학습이 가능한가?
• RQ4 ex-ante 유틸리티에서 이러한 방법이 근사 베이즈-내쉬 균형으로 수렴할 수 있는 조건는 무엇인가?
• RQ5 이 방법은 벤치마크 Auction 설정에서 알려진 분석적 BNE를 복원하고 다양한 조합 Auction 환경으로 일반화할 수 있는가?

주요 결과

• NPGA는 거의 확실히 ex-ante ϵ-베이즈-내쉬 균형으로 수렴하며, 이때 ϵ = Z(2L√dσ + δ)이다. 여기서 Z, L, d, δ는 각각 기울기 리프시츠 상수, 정책 네트워크 리프시츠 상수, 최대 네트워크 차원, 정책 근사 오차를 나타낸다.
• 이 방법은 단일 항목 Auction에서 알려진 분석적 BNE를 성공적으로 복원하여 정확성과 이론적 기준과의 일관성을 입증한다.
• 조합 Auction 환경에서는 작은 규모에서부터 중간 규모까지의 다양한 설정에서 NPGA가 빠르고 안정적으로 근사 BNE로 수렴하는 것으로 나타났다.
• 가우시안 스무딩을 사용함으로써 유한 분산, 불편향 있는 허위기울기 추정기가 가능해졌으며, 이는 비가역적인 Auction 결과에도 불구하고 이론적 수렴에 필수적이다.
• 경험적 결과는 NPGA가 이전 방법보다 확장성과 일반성에서 뛰어나며, Auction 결과 평가 외에 문제에 특화된 서브루틴이 필요로 하지 않는다는 것을 보여준다.
• 기울기의 리프시츠 연속성과 신경 정책 네트워크의 보편적 근사 가능성 등의 약간의 정규성 조건 하에서도 수렴 보장이 유지된다.