[論文レビュー] Price Experimentation and Interference

Ramesh Johari, Page, Orrie B.+1 more|arXiv (Cornell University)|Oct 26, 2023

Digital Platforms and Economics被引用数 5

ひとこと要約

この論文は、オンラインプラットフォームにおける価格実験のA/Bテストにおいて、ユーザー間の干渉が生じる場合、標準推定器が利益変化を誤って推定する重大なバイアスを特定している。これは、利益を減少させる価格引き上げを推奨してしまう可能性がある。構造的モデリングと微分積分学を用いて、推定された処置効果が逆の符号を持つ場合の条件を導出している。特に収益管理および两面的マーケット設定において顕著である。

ABSTRACT

In this paper, we examine the biases that arise when firms run A/B tests on continuous parameters to estimate global treatment effects on performance metrics of interest; we particularly focus on price experiments to measure the price impact on quantity demanded, and on profit. In canonical A/B experimental estimators, biases emerge due to interference between market participants. We employ structural modeling and differential calculus to derive intuitive characterizations of these biases. We then specialize our general model to the standard revenue-management pricing problem. This setting highlights a fundamental risk innate to A/B pricing experiments: that the canonical estimator for the expected change in profits, counterintuitively, can have the wrong sign in expectation. In other words, following the guidance of canonical estimators may lead firms to move prices (or fees) in the wrong direction, inadvertently decreasing profits. We introduce a novel debiasing technique for these canonical experiments, requiring only that firms equally split units between treatment and control. We apply these results to a two-sided market model, and demonstrate how the "change of sign" regime depends on market factors such as the supply/demand imbalance, and the price markup. We conclude by calibrating our revenue-management pricing model to published empirical estimates from Airbnb marketplaces, demonstrating that estimators with the wrong sign are not a knife-edge issue, and that they may be prevalent enough to be of concern to practitioners.

研究の動機と目的

• 連続的なパラメータ（例：価格）を操作するA/Bテストにおいて、市場参加者間の干渉が生じる場合のバイアスを分析すること。
• 標準的な実験設計における標準推定器が、干渉のため、特に利益推定において誤った結果を生じる理由を説明すること。
• 微分積分学と交差偏微分を用いて、干渉効果を定量化する構造的特徴を導出すること。
• 利益に対する推定処置効果が真のグローバル処置効果と逆の符号を持つ場合、企業が非最適な価格決定を下す状況を特定すること。
• 二面的マーケットプラットフォームへの応用を行い、符号反転が最も起こりやすいパラメータ領域を同定すること。

提案手法

• プラットフォームのダイナミクスを表現する構造的モデリングを用い、需要、供給、価格の相互作用を組み込む。
• 微分積分学を適用して、制御群と処置群の間の交差偏微分に基づくバイアス式を導出する。
• 連続的価格変更を伴う標準的収益管理問題に一般モデルを特化する。
• 価格価格弾力性と市場バランスパラメータを用いて、「符号の反転」バイアスの解析的条件を導出する。
• リストランダム化（LR）と制御ランダム化（CR）の2つの実験設計を比較し、極限ケースにおけるバイアス行動を分析する。
• 数値シミュレーションと可視化（例：バイアス対価格および市場バランス）を用いて、バイアスのパターンと符号反転領域を提示する。

実験結果

リサーチクエスチョン

• RQ1 A/Bテストにおける干渉が、利益に対するグローバル処置効果を誤って推定する標準推定器を生じる条件は何か？
• RQ2 制御群と処置群の間の相互作用（交差偏微分で測定）は、標準的価格実験におけるバイアスをどのように特徴づけるか？
• RQ3 推定利益変化が真のグローバル処置効果と逆の符号を持つパラメータ領域はどこか？
• RQ4 市場バランスの異なる状況下で、リストランダム化（LR）と制御ランダム化（CR）実験のバイアスはどのように異なるか？
• RQ5 価格弾力性、コスト構造、市場制約（需要対供給）は、利益推定における符号反転の可能性にどのように寄与するか？

主な発見

• 価格実験における利益変化の標準推定器は、符号が逆になる可能性があり、企業が現状よりも利益を減少させる価格引き上げを実施してしまう。
• 利益推定のバイアスは、制御群と処置群の利益が互いの価格変数に関して偏微分した交差偏微分に比例しており、干渉の構造的特徴を提供する。
• 低市場バランス（需要制約）の極限では、CR実験は不偏となるが、LR実験は依然としてバイアスを持つ。高バランス（供給制約）では逆の傾向が見られる。
• 「符号の反転」領域（推定効果が真のグローバル処置効果と逆）は中間の市場バランス領域に存在し、価格空間において連続的な区間を形成する。
• CR実験では、市場バランスが高くなるほど符号反転の可能性が増加し、LR実験では逆に減少する。これは、バイアス行動が設計間で入れ替わる臨界閾値β*が存在することを示唆する。
• 処置割合qは符号反転の可能性に影響を及ぼさないため、処置ユニットの割合を増やしても、このバイアスを排除できない。