[논문 리뷰] Autobidders with Budget and ROI Constraints: Efficiency, Regret, and Pacing Dynamics

Brendan Lucier, Sarath Pattathil외 2명|arXiv (Cornell University)|2023. 01. 30.

Auction Theory and Applications인용 수 7

한 줄 요약

이 논문은 밴딧 피드백 하에서 확률 1로 예산 및 ROI 제약 조건을 만족시키면서도 개인적 회귀가 점점 줄어들게 하는 기울기 기반 자동입찰 알고리즘을 제안한다. 모든 자동입찰자가 이 알고리즘을 사용할 경우, 첫 번째 가격 경매, 두 번째 가격 경매 또는 중간 경매 형식이든 간에, 평형에 수렴하지 않더라도 시장은 최적의 기대 유동 복리의 최소 50퍼센트를 달성한다.

ABSTRACT

We study a game between autobidding algorithms that compete in an online advertising platform. Each autobidder is tasked with maximizing its advertiser's total value over multiple rounds of a repeated auction, subject to budget and return-on-investment constraints. We propose a gradient-based learning algorithm that is guaranteed to satisfy all constraints and achieves vanishing individual regret. Our algorithm uses only bandit feedback and can be used with the first- or second-price auction, as well as with any "intermediate" auction format. Our main result is that when these autobidders play against each other, the resulting expected liquid welfare over all rounds is at least half of the expected optimal liquid welfare achieved by any allocation. This holds whether or not the bidding dynamics converges to an equilibrium.

연구 동기 및 목표

• 반복 온라인 경매에서 예산 및 ROI 제약 조건을 만족시키면서도 개인적 회귀가 점점 줄어들게 하는 자동입찰 알고리즘을 설계하는 것.
• 균형에 수렴하지 않더라도, 강력한 집합적 시장 효율성—구체적으로 최적의 기대 유동 복리의 최소 50퍼센트—을 보장하는 것.
• 밴딧 피드백 하에서 작동하고, 제1가격, 제2가격 또는 중간 경매 형식과 호환되는 것.
• 표준이 아닌 기준에 대해 개인적 회귀 보장을 제공하여, 온라인 입찰에서 알려진 불가능성 결과를 피하는 것.
• 균형 수렴에 의존하지 않고, 자동입찰자의 동적 학습 경로를 분석하여 강건한 성능 보장을 확보하는 것.

제안 방법

• 알고리즘은 예산 및 ROI 다중수를 위한 이중 기반 기울기 갱신을 사용하며, 제약 조건 최적화를 통해 타당성을 유지한다.
• 밴딧 피드백 메커니즘을 활용하여, 각 라운드에서 승리/패배 및 지불 금액 외에 전체 평가 정보가 필요로 하지 않는다.
• 현재 다중수와 최적 다중수의 상대적 성능에 기반해 라운드를 간격으로 나누는 새로운 분석 프레임워크를 도입한다.
• 현재 및 최적의 이중 변수 간 제곱 거리에 대한 텔레스코픽 추론을 적용하여 회귀 성장률을 제한한다.
• 탐색과 이용을 균형 잡기 위해 시간의 역제곱근에 비례하는 적응적 단계 크기를 사용한다.
• 가중 최적화를 통해 예산 및 ROI 제약 조건에 대한 회귀 한계를 통합하며, 총 회귀 한계를 최소화하기 위해 파라미터 β를 선택한다.

실험 결과

연구 질문

• RQ1 밴딧 피드백 하에서 예산 및 ROI 제약 조건을 만족시키면서도 개인적 회귀가 점점 줄어들게 하는 자동입찰 알고리즘이 존재할 수 있는가?
• RQ2 모든 자동입찰자가 수렴하지 않는 학습 기반 알고리즘을 사용할 경우, 가장 악조건의 시장 효율성(유동 복리 기준)은 어떠한가?
• RQ3 균형 수렴에 의존하지 않고도 개인적 회귀 보장과 강력한 집합적 복리 보장을 동시에 확보할 수 있는 단일 알고리즘이 존재하는가?
• RQ4 광고주 평가의 상관관계 구조는 알고리즘 성능에 어떻게 영향을 미치는가?
• RQ5 표준 O(√T) 속도를 초월하여도 강력한 집합적 복리 보장을 유지하면서 회귀 한계를 향상시킬 수 있는가?

주요 결과

• 제안된 알고리즘은 모든 라운드에 걸친 기대 유동 복리가 최적의 기대 유동 복리의 최소 50퍼센트 이상이 되도록 보장한다. 이는 순수 내쉬 균형의 경우에도 도달 가능한 최선의 경계이다.
• 알고리즘은 표준이 아닌 기준에 대해 점점 줄어드는 개인적 회귀를 달성하며, 제약 조건이 있는 온라인 입찰에서 알려진 불가능성 결과를 피한다.
• 회귀 한계는 O((P_T^R + 1)^{1/4} T^{7/8} + √(1 + P_T^B) T^{3/4})이며, 여기서 P_T^R 및 P_T^B 는 시간에 따른 ROI 및 예산 제약 조건의 총 변동량이다.
• 알고리즘은 기대값이 아닌 확률 1로 예산 및 ROI 제약 조건을 만족시킨다.
• 광고주 평가 간 상관관계의 어떤 구조에도 불구하고, 제1가격 및 제2가격 경매를 포함한 모든 중간 경매 형식에 대해 분석이 유효하다.
• 집합적 복리 보장은 균형 수렴에 기반하지 않고 학습 경로에서 직접 유도되므로, 수렴하지 않는 동역학에 대해서도 강건하다.