[논문 리뷰] Learning Prices for Repeated Auctions with Strategic Buyers

Kareem Amin, Afshin Rostamizadeh외 1명|arXiv (Cornell University)|2013. 11. 26.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 74

한 줄 요약

이 논문은 구매자가 구매를 연기함으로써 비용을 최소화하기 위해 전략적으로 행동하는 반복적 정액제 경매에 대한 전략적 회귀 프레임워크를 제안한다. 구매자가 미래의 이익을 할인하는 경우에 대해 판매자 알고리즘을 제안하며, 이러한 알고리즘은 전략적 회귀 없이 작동함을 증명한다. 반대로, 할인이 없을 경우 전략적 회귀는 선형적으로 증가하므로, 학습을 가능하게 하기 위해서는 할인이 필수적임을 입증한다.

ABSTRACT

Inspired by real-time ad exchanges for online display advertising, we consider the problem of inferring a buyer's value distribution for a good when the buyer is repeatedly interacting with a seller through a posted-price mechanism. We model the buyer as a strategic agent, whose goal is to maximize her long-term surplus, and we are interested in mechanisms that maximize the seller's long-term revenue. We define the natural notion of strategic regret --- the lost revenue as measured against a truthful (non-strategic) buyer. We present seller algorithms that are no-(strategic)-regret when the buyer discounts her future surplus --- i.e. the buyer prefers showing advertisements to users sooner rather than later. We also give a lower bound on strategic regret that increases as the buyer's discounting weakens and shows, in particular, that any seller algorithm will suffer linear strategic regret if there is no discounting.

연구 동기 및 목표

• 전략적 구매자가 구매를 연기함으로써 가격을 조작하는 반복적 정액제 경매에서 전통적인 전략적 회귀 없이 학습하는 알고리즘의 한계를 해결하기 위함.
• 구매자가 진실하게 행동하지 않을 경우 발생하는 수익 손실인 전략적 회귀를 정의하고 분석하며, 이는 진실한 구매자 기준과의 비교 기반임.
• 전략적 구매자 행동에 강건한 판매자 학습 알고리즘을 설계하고, 합리적인 가정 하에 전략적 회귀 없이 작동함을 보장함.
• 구매자가 미래의 이익을 할인하지 않을 경우 전략적 회귀가 선형적으로 증가함을 보여주는 이론적 하한선을 설정함으로써, 학습을 위해 할인이 필수적임을 입증함.

제안 방법

• 판매자의 수익과 전체 기간 동안 최적의 고정 가격을 사용한 진실한 구매자 기준 수익 간의 차이로 정의되는 새로운 전략적 회귀 개념을 도입함.
• 구매자를 장기적 이익을 최대화하는 전략적 에이전트로 모델링하며, 판매자의 학습 알고리즘을 관찰하고 최적화함을 가정함.
• 과거 상호작용의 가중치가 시간이 지남에 따라 감소하는 가중치 기반 경험 분포를 기반으로 가격을 선택하는 랜덤화된 전략을 사용함.
• 시간에 따라 변하는 가중치 시퀀스 $\gamma_t$, $\gamma_t \in [0,1]$ 를 통해 할인 메커니즘을 적용함으로써, 구매자가 즉각적인 이익을 선호하는 것을 모델링함.
• 할인이 존재할 경우, 판매자의 전략적 회귀가 기반 대안의 밴딧 알고리즘의 표준 회귀로 유한하게 제한됨을 증명함으로써 전략적 회귀 없이 작동함을 보장함.
• 단일 단계의 인centив 호환 메커니즘으로의 감소를 적용함으로써, 제안된 프레임워크 하에서 판매자의 전략이 합리적이며 인센티브 호환됨을 보여줌.

실험 결과

연구 질문

• RQ1 구매자가 전략적으로 행동하고 총 비용을 최소화하기 위해 노력할 경우, 판매자는 반복적 정액제 경매에서 최적의 가격을 학습할 수 있는가?
• RQ2 판매자가 전략적 회귀 없이 작동하기 위해 필요한 구매자 행동 조건(예: 할인)은 무엇인가?
• RQ3 표준 전략적 회귀 없이 학습하는 밴딧 알고리즘의 성능에 전략적 구매자 행동이 미치는 영향은 무엇인가?
• RQ4 전략적 조작에 강건하면서도 낮은 회귀를 달성할 수 있는 판매자 알고리즘을 설계하는 것이 가능한가?
• RQ5 구매자가 미래의 이익을 할인하지 않을 경우, 이 설정에서 학습의 본질적 한계는 무엇인가?

주요 결과

• 논문은 구매자가 미래의 이익을 할인할 경우, 적절히 설계된 학습 알고리즘을 통해 판매자가 전략적 회귀 없이 작동할 수 있음을 입증함.
• 구매자가 미래의 이익을 할인하지 않을 경우(즉, 단기적일 경우), 어떤 판매자 알고리즘도 선형 전략적 회귀를 겪게 되며, 이는 할인이 학습 가능성을 위해 필수적임을 증명함.
• 전략적 회귀는 기반 밴딧 알고리즘의 표준 회귀로 유한하게 제한되며, 이는 전략적 행동이 기본 회귀 수준을 초과해 회귀를 증가시키지 않음을 보여줌.
• 제안된 메커니즘은 판매자의 전략이 합리적이며 인센티브 호환됨을 보장함. 이는 구매자의 이익 최대화 행동과 일치함.
• 이론적 분석을 통해, 구매자가 할인을 하지 않을 경우 전략적 회귀 없이 학습이 불가능하며, 전략적 회귀에 대한 본질적 하한선을 설정함.