[論文レビュー] A/B Testing for Recommender Systems in a Two-sided Marketplace

Preetam Nandy, Divya Venugopalan+2 more|arXiv (Cornell University)|May 29, 2021

Advanced Causal Inference Techniques参考文献 18被引用数 9

ひとこと要約

この論文では、二面市場における処置効果の高品質かつバイアスのない測定を可能にする、UniCoRnと呼ばれる新しいA/Bテストフレームワークを提案する。これは、矛盾する処置割り当てに起因する反事後的ランクの統合を通じて、生産者側の処置効果を測定可能にする。ネットワーク構造の事前知識や処置伝搬に関する仮定を必要とせず、正確性と計算コストの明示的制御を可能にする最適な実験設計を達成する。

ABSTRACT

Two-sided marketplaces are standard business models of many online platforms (e.g., Amazon, Facebook, LinkedIn), wherein the platforms have consumers, buyers or content viewers on one side and producers, sellers or content-creators on the other. Consumer side measurement of the impact of a treatment variant can be done via simple online A/B testing. Producer side measurement is more challenging because the producer experience depends on the treatment assignment of the consumers. Existing approaches for producer side measurement are either based on graph cluster-based randomization or on certain treatment propagation assumptions. The former approach results in low-powered experiments as the producer-consumer network density increases and the latter approach lacks a strict notion of error control. In this paper, we propose (i) a quantification of the quality of a producer side experiment design, and (ii) a new experiment design mechanism that generates high-quality experiments based on this quantification. Our approach, called UniCoRn (Unifying Counterfactual Rankings), provides explicit control over the quality of the experiment and its computation cost. Further, we prove that our experiment design is optimal to the proposed design quality measure. Our approach is agnostic to the density of the producer-consumer network and does not rely on any treatment propagation assumption. Moreover, unlike the existing approaches, we do not need to know the underlying network in advance, making this widely applicable to the industrial setting where the underlying network is unknown and challenging to predict a priori due to its dynamic nature. We use simulations to validate our approach and compare it against existing methods. We also deployed UniCoRn in an edge recommendation application that serves tens of millions of members and billions of edge recommendations daily.

研究の動機と目的

• SUTVAがネットワーク依存性によって破られる二面市場において、生産者に対する処置効果を測定する課題に対処すること。
• グラフ密度や処置伝搬仮定に依存しない、生産者側の測定において高い正確性と低い分散を保証する実験設計メカニズムを開発すること。
• 実験の品質と計算コストのトレードオフを明示的に制御できること。
• 基礎となる生産者-消費者ネットワークが未知で常に変化する動的かつ現実世界の環境で動作する方法を設計すること。
• 実験の品質に対する新たに定義された不正確さ測度に関して、提案された設計の最適性を証明すること。

提案手法

• 処置群と対照群間の露出分布推定の不正確さに基づく、実験設計の品質測度を導入する。
• 異なる処置バリアントに割り当てられた生産者に生じる矛盾を解消する統一された反事後的ランクシステムを定式化する。
• 生産者側に確率的処置割り当て戦略を用い、各処置バリアントごとに固有のランクを設定し、それらを一貫性のあるランクフレームワークに統合する。
• 分散の増加を伴わずに、より大きな処置ラムプ（例：生産者側の大きな処置グループ）の使用を可能にし、統計的パワーを向上させる。
• 定義された不正確さ測度に関して、証明可能な最適性を有し、最小限の推定誤差を保証する。
• ネットワーク構造の事前知識を必要としないため、動的かつリアルタイムなマーケットプレイス応用に適している。

実験結果

リサーチクエスチョン

• RQ1 SUTVAが破られる二面市場において、生産者に対する処置効果を正確に測定するA/B実験をどのように設計できるか？
• RQ2 生産者側の実験設計の品質を体系的かつ測定可能な方法で定量化するにはどうすればよいか？
• RQ3 この品質測度に関して最適であり、グラフ密度や処置伝搬仮定に依存しない実験メカニズムを設計できるか？
• RQ4 大規模かつ動的なマーケットプレイスにおいて、実験の正確性と計算コストのトレードオフをどのようにバランスさせるか？
• RQ5 提案された手法は、基礎となるネットワーク構造の事前知識がなくても、現実世界のシステムに適用可能か？

主な発見

• UniCoRnは、提案された不正確さ測度に関して最適な実験設計を達成し、露出分布の推定誤差を最小限に抑える。
• 分散の増加を伴わずに、生産者側のより大きな処置ラムプをサポートできるため、統計的パワーが向上する。
• シミュレーションおよびLinkedInでの実世界での導入により、WAUsとセッション数に前向きな影響が見られ、統計的に有意な処置効果が示された。
• フレームワークはグラフ密度に依存せず、処置伝搬や露出への反応依存に関する仮定も必要としない。
• ネットワーク構造の事前知識を必要としないため、動的かつ現実世界のマーケットプレイス応用に適している。
• 特に密度が高く、あるいは変化するネットワークにおいて、測定の正確性と頑健性の点で、既存の手法を上回る。