[논문 리뷰] Econometrics for Learning Agents

Denis Nekipelov, Vasilis Syrgkanis외 1명|arXiv (Cornell University)|2015. 05. 04.

Auction Theory and Applications참고 문헌 13인용 수 8

한 줄 요약

이 논문은 나시 균형을 가정하지 않고, 더 현실적인 행동 모델로 무보상 학습(no-regret learning)을 활용하여 순위 매겨진 검색 광고 입찰에서 입찰자의 평가 가치를 추론하는 새로운 계량경제학 프레임워크를 제안한다. 다중 오차 한계를 기반으로 한 합리화 기반 추론 방법을 통해 실세계 입찰 데이터로부터 정확한 가치 추정을 달성하였으며, 광고주들이 평균적으로 추정된 가치의 약 60%를 입찰함을 드러내며, 30%의 입찰 항목에서 근사적으로 영의 합리화 오차를 보이며 안정적인 학습 행동을 나타냄을 확인하였다.

ABSTRACT

The main goal of this paper is to develop a theory of inference of player valuations from observed data in the generalized second price auction without relying on the Nash equilibrium assumption. Existing work in Economics on inferring agent values from data relies on the assumption that all participant strategies are best responses of the observed play of other players, i.e. they constitute a Nash equilibrium. In this paper, we show how to perform inference relying on a weaker assumption instead: assuming that players are using some form of no-regret learning. Learning outcomes emerged in recent years as an attractive alternative to Nash equilibrium in analyzing game outcomes, modeling players who haven't reached a stable equilibrium, but rather use algorithmic learning, aiming to learn the best way to play from previous observations. In this paper we show how to infer values of players who use algorithmic learning strategies. Such inference is an important first step before we move to testing any learning theoretic behavioral model on auction data. We apply our techniques to a dataset from Microsoft's sponsored search ad auction system.

연구 동기 및 목표

• 나시 균형 가정에 의존하지 않고 반복적인 입찰에서 가치 추론 이론을 개발하기 위해.
• 균형 기반 전략 대신 더 현실적인 대안으로 무보상 학습 전략을 사용하여 입찰자 행동을 모델링하기 위해.
• 관찰된 입찰 데이터로부터 사적 평가를 정확하게 추정함으로써 학습 이론 기반 모델의 실증적 검증을 가능하게 하기 위해.
• 실제 마이크로소프트의 순위 매겨진 검색 입찰 시스템에서의 데이터를 적용하여 이 방법의 실용적 유용성을 검증하기 위해.

제안 방법

• 무보상 학습에 기반한 합리화 조건을 설정하여, 플레이어의 전략이 시간이 지남에 따라 비선형으로 증가하는 오차를 가진 전략과 일관성이 있어야 한다고 정의한다.
• 관찰된 입찰이 어떤 무보상 학습 전략 하에서나 합리화 가능하도록 하는 다중 오차 한계 δ를 사용하여 입찰자 평가 가치의 타당 영역을 정의한다.
• δ ∈ (0,1) 범위에서 이진 탐색을 수행하여, 가장 작은 음이 아닌 합리화 가능한 오차 δ*를 찾는다. 이는 가장 타당성이 높은 평가 가치 추정치 v*에 해당한다.
• 관찰된 입찰 행동과 무보상 제약 조건 하에서 일관성을 확보하는 부등식 시스템을 풀어 평가 가치에 대한 신뢰 영역을 구성한다.
• 마이크로소프트의 순위 매겨진 검색 시스템에서의 실제 입찰 데이터를 활용하여 아홉 개 광고주 계정에 대한 추론 절차를 적용한다.
• 입찰 압축 비율 분석과 합리화 오차와 입찰 압축 간 상관관계를 통한 실증 분석을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 관찰된 입찰 데이터로부터 나시 균형을 가정하지 않고도 입찰자의 평가 가치를 신뢰성 있게 추론할 수 있는가?
• RQ2 입찰자를 무보상 학습 전략을 사용하는 것으로 모델링할 경우, 동적 입찰 환경에서 추론 정확도가 어떻게 향상되는가?
• RQ3 입찰 행동의 몇 퍼센트가 안정적인 학습(낮은 합리화 오차)과 지속적인 학습(높은 오차)에 해당하는가?
• RQ4 실세계의 순위 매겨진 검색 광고 입찰에서 광고주는 추정된 평가 가치에 비해 얼마나 입찰을 압축하는가?
• RQ5 합리화 오차 수준과 입찰 압축 정도 사이에 체계적인 관계가 존재하는가?

주요 결과

• 계정 내 약 30%의 입찰 항목이 근사적으로 영의 다중 오차(δ* < 0.0001)로 합리화 가능하여 안정적인 학습 행동을 나타낸다.
• 남은 70%의 입찰 항목에 대해 가장 작은 합리화 가능한 오차 δ*의 경험적 분포는 [0, 0.4] 범위에서 근사적으로 균일 분포에 가까워, 대부분의 경우 지속적인 학습이 이루어지고 있음을 시사한다.
• 광고주는 평균적으로 추정된 가치의 약 60%를 입찰하며, 입찰 대 평가 비율 분포는 중심이 60%인 정규분포에 매우 가까이 근사한다.
• 소수의 입찰 항목에서 과도한 입찰이 관찰되며, 이는 시장 충격이나 시간에 따라 변화하는 평가 가치 때문일 수 있다.
• 합리화 오차 δ*와 입찰 압축 간에 작은 그러나 일관된 양의 상관관계가 존재하여, 평가 추정의 불확실성이 높을수록 더 많은 입찰 압축이 이루어지는 경향이 있음을 나타낸다.