[論文レビュー] Econometrics for Learning Agents

Denis Nekipelov, Vasilis Syrgkanis+1 more|arXiv (Cornell University)|May 4, 2015

Auction Theory and Applications参考文献 13被引用数 8

ひとこと要約

本稿では、ナッシュ均衡を仮定せずに、より現実的な行動モデルとしてのno-regret学習を用いることで、入札者評価額を推定する新しい計量経済学的枠組みを提案する。multiplicative error boundを用いた合理性に基づく推定法を定式化することで、実世界のオークションデータから正確な価値推定が可能となり、広告主は平均して推定価値の約60％を入札していることが判明した。また、30％の掲載広告で近似的にゼロの合理性誤差が観察されており、これは安定した学習行動を示している。

ABSTRACT

The main goal of this paper is to develop a theory of inference of player valuations from observed data in the generalized second price auction without relying on the Nash equilibrium assumption. Existing work in Economics on inferring agent values from data relies on the assumption that all participant strategies are best responses of the observed play of other players, i.e. they constitute a Nash equilibrium. In this paper, we show how to perform inference relying on a weaker assumption instead: assuming that players are using some form of no-regret learning. Learning outcomes emerged in recent years as an attractive alternative to Nash equilibrium in analyzing game outcomes, modeling players who haven't reached a stable equilibrium, but rather use algorithmic learning, aiming to learn the best way to play from previous observations. In this paper we show how to infer values of players who use algorithmic learning strategies. Such inference is an important first step before we move to testing any learning theoretic behavioral model on auction data. We apply our techniques to a dataset from Microsoft's sponsored search ad auction system.

研究の動機と目的

• ナッシュ均衡の仮定に依存せずに繰り返しオークションにおける価値推定の理論を構築すること。
• 均衡ベースの戦略とは対照的に、no-regret学習を用いて入札者の行動をより現実的にモデル化すること。
• 私的評価額を観察された入札データから正確に推定することで、学習理論的モデルの実証的検証を可能にすること。
• 実世界のマイクロソフトのスポンサード検索オークションシステムからのデータにこの手法を適用し、実用的有効性を検証すること。

提案手法

• no-regret学習に基づく合理性条件を定式化し、プレイヤーの戦略が時間とともにサブ線形な後悔を持つ戦略と整合している必要があることを規定する。
• 観察された入札が、あるno-regret学習戦略のもとで合理性があることを保証するmultiplicative error bound δを用いて、入札者評価額の妥当領域を定義する。
• δ ∈ (0,1) における二分探索を用いて、最小の非負の合理性誤差 δ* を特定し、これが最も妥当な評価額推定値 v* に対応することを求める。
• no-regret制約のもとで観察された入札行動と整合するように、不等式系を解くことで評価額の信頼領域を構築する。
• マイクロソフトのスポンサード検索システムから得た9件の広告主アカウントの実際の入札データに、推定手順を適用する。
• 入札シェーディング比の実証的分析と、合理性誤差と入札シェーディングの相関関係を用いて、結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 ナッシュ均衡の仮定をせず、観察されたオークションデータから入札者の評価額を信頼性を持って推定できるか？
• RQ2 入札者をno-regret学習戦略を用いるものとしてモデル化することで、動的オークション環境における推定精度がどのように向上するか？
• RQ3 入札行動の何パーセントが安定した学習（低い合理性誤差）に一致しているか、あるいは継続的な学習（高い誤差）に一致しているか？
• RQ4 実世界のスポンサード検索オークションにおいて、広告主は推定価値に対してどの程度入札をシェーディングしているか？
• RQ5 合理性誤差の水準と入札シェーディングの度合いとの間に、体系的な関係があるか？

主な発見

• アカウント全体の約30％の掲載広告が、近似的にゼロの乗法的誤差（δ* < 0.0001）で合理性を示しており、これは安定した学習行動を示している。
• 残りの70％の掲載広告について、最小の合理性誤差δ*の経験的分布は[0, 0.4]上でほぼ一様に近く、大多数のケースで継続的な学習が進行していることを示唆している。
• 広告主は平均して推定価値の約60％を入札しており、入札対価値比の分布は60％を中心とする正規分布に非常に近い。
• 少数の掲載広告で過剰入札が観察されており、これは市場ショックや時間的非定常な評価額の変動による可能性がある。
• 合理性誤差δ*と入札シェーディングの間にわずかだが一貫した正の相関関係が確認されており、評価額推定の不確実性が高いほど入札シェーディングが顕著になる傾向があることが示唆されている。