[論文レビュー] Parallel Experimentation in a Competitive Advertising Marketplace

Xiliang Lin, Harikesh S. Nair+2 more|arXiv (Cornell University)|Mar 27, 2019

Consumer Market Behavior and Pricing参考文献 20被引用数 5

ひとこと要約

本稿は、デジタルマーケットプレイスにおける複数企業の並列広告実験において、クロスファーム干渉を考慮しつつ処置効果を正確に推定できる因果推論フレームワークと実験設計を提案する。JD.comの広告プラットフォームを対象に16の広告主と数百万のユーザーで評価した結果、本手法の実用性が示され、競合広告環境における相互作用効果の重要性が浮き彫りになった。

ABSTRACT

When multiple firms are simultaneously running experiments on a platform, the treatment effects for one firm may depend on the experimentation policies of others. This paper presents a set of causal estimands that are relevant to such an environment. We also present an experimental design that is suitable for facilitating experimentation across multiple competitors in such an environment. Together, these can be used by a platform to run experiments "as a service," on behalf of its participating firms. We show that the causal estimands we develop are identified nonparametrically by the variation induced by the design, and present two scalable estimators that help measure them in typical high-dimensional situations. We implement the design on the advertising platform of JD.com, an eCommerce company, which is also a publisher of digital ads in China. We discuss how the design is engineered within the platform's auction-driven ad-allocation system, which is typical of modern, digital advertising marketplaces. Finally, we present results from a parallel experiment involving 16 advertisers and millions of JD.com users. These results showcase the importance of accommodating a role for interactions across experimenters and demonstrates the viability of the framework.

研究の動機と目的

• 複数企業の広告実験における干渉の課題に対処すること。処置効果は競合企業の行動に依存する。
• 他の企業の実験ポリシーを考慮しつつ、1社の企業が実施する実験の影響を捉える因果推定量の開発。
• デジタルマーケットプレイスにおけるオークション駆動型広告配分システムと互換性のあるスケーラブルな実験フレームワークの設計。
• 複数の広告主が同時に実験を実施できるようにプラットフォームが「実験のサービスとしての提供」を可能にすること。有効な因果推論を保証する。

提案手法

• 並列実験におけるクロスファーム干渉を考慮した、非パrametricに同定可能な因果推定量のセットを提案。
• 提案された推定量の同定を可能にするために、企業間での処置曝露のばらつきを誘発する実験フレームワークを設計。
• 高次元データに適したスケーラブルな2つの推定器を開発。実世界のデジタル広告環境における推定を促進。
• JD.comのオークション駆動型広告配分システムにこの設計を統合。既存のプラットフォームインfraと互換性を保証。
• ランダム化と露出マッピングを用いて、複数の広告主と同時に処置群と対照群を定義。

実験結果

リサーチクエスチョン

• RQ1 相互に干渉する広告実験が行われる複数企業の広告環境では、どのようにして因果効果を推定できるか？
• RQ2 複数の広告主が共有プラットフォーム上で並列に実験を実施する場合、どのような実験設計が有効な推論を可能にするか？
• RQ3 競合市場環境下で、1つの広告主の処置効果は、他の企業の実験行動にどのように依存するか？
• RQ4 統計的妥当性とスケーラビリティを維持しながら、プラットフォームが複数の広告主に対して並列実験を信頼性高くサポートできるか？

主な発見

• 提案された因果推定量は、実験設計が誘発するばらつきを通じて、非パrametricに同定可能である。
• 2つのスケーラブルな推定器により、高次元で現実世界の広告データにおいて処置効果の正確な測定が可能になった。
• 実験設計は、JD.comのオークション駆動型広告配分システムに正常に統合され、既存の運用に支障をきたさなかった。
• 16の広告主と数百万のユーザーを対象に実施した並列実験では、クロスファーム干渉が処置結果に顕著に影響することが明らかになった。
• 結果は、フレームワークの実用性を裏付け、競合広告プラットフォームにおける実験参加者同士の相互作用をモデル化することが重要であることを強調した。