[論文レビュー] Uncertainty in Online Experiments with Dependent Data: An Evaluation of Bootstrap Methods

Eytan Bakshy, Dean Eckles|arXiv (Cornell University)|Apr 27, 2013

Advanced Causal Inference Techniques参考文献 20被引用数 36

ひとこと要約

本稿は、依存するユーザ-アイテムデータを伴うオンライン実験における不確実性推定のためのブートストラップ法を評価し、依存性を無視すると保守的でない推論が生じることを示している。両方のレベル（ユーザおよびアイテム）の依存性を考慮するマルチウェイブートストラップは、処置効果が存在する場合でも、適切な第一種誤り率と被覆率を達成するが、一方で1ウェイ（ユーザのみ）ブートストラップはアイテム-処置相互作用があると失敗する。

ABSTRACT

Many online experiments exhibit dependence between users and items. For example, in online advertising, observations that have a user or an ad in common are likely to be associated. Because of this, even in experiments involving millions of subjects, the difference in mean outcomes between control and treatment conditions can have substantial variance. Previous theoretical and simulation results demonstrate that not accounting for this kind of dependence structure can result in confidence intervals that are too narrow, leading to inaccurate hypothesis tests. We develop a framework for understanding how dependence affects uncertainty in user-item experiments and evaluate how bootstrap methods that account for differing levels of dependence perform in practice. We use three real datasets describing user behaviors on Facebook - user responses to ads, search results, and News Feed stories - to generate data for synthetic experiments in which there is no effect of the treatment on average by design. We then estimate empirical Type I error rates for each bootstrap method. Accounting for dependence within a single type of unit (i.e., within-user dependence) is often sufficient to get reasonable error rates. But when experiments have effects, as one might expect in the field, accounting for multiple units with a multiway bootstrap can be necessary to get close to the advertised Type I error rates. This work provides guidance to practitioners evaluating large-scale experiments, and highlights the importance of analysis of inferential methods for dependence structures common to online systems.

研究の動機と目的

• ユーザ-アイテムオンライン実験における依存性が統計的推論および信頼区間被覆率に与える影響を評価すること。
• 実データおよびシミュレートデータにおいて、独立、1ウェイ（ユーザレベル）、およびマルチウェイ（ユーザおよびアイテム）ブートストラップ法の性能を評価すること。
• 複数の依存レベル（例：ユーザおよびアイテム）を考慮することが、妥当な仮説検定に不可欠となる状況を特定すること。
• 大規模フィールド実験における適切なリサンプリング手法の選定に関する実務的ガイダンスを提供すること。

提案手法

• 著者らは、広告、検索結果、ニュースフィードストーリーの3つの実際のFacebookデータセットを用い、帰無仮説下で合成されたA/Aテストを生成した。
• 独立、1ウェイ（ユーザレベル）、およびマルチウェイ（ユーザおよびアイテム）ブートストラップ法を用いて、信頼区間および第一種誤り率を推定した。
• 鋭い帰無仮説からの逸脱を評価するために、制御された分散成分を有するプロビットランダム効果モデルを用いたシミュレーションを実施した。
• 各ブートストラップ法の妥当性を評価するために、A/Aテストから得た実効第一種誤り率を計算した。
• マルチウェイブートストラップは、ユーザおよびアイテムを同時にリサンプリングし、データ内の同時依存構造を保持する。
• 分析では、名目水準（例：95％）と実際の信頼区間被覆率の比較を、処置効果の不均一性の異なるレベルで行った。

実験結果

リサーチクエスチョン

• RQ1 ユーザとアイテムの間の依存性は、オンライン実験における標準的ブートストラップ法の妥当性にどのように影響するか？
• RQ2 1ウェイ（ユーザレベル）ブートストラップは、どのような条件下で適切な第一種誤り率を維持できなくなるか？
• RQ3 マルチウェイブートストラップによるユーザおよびアイテム両方の依存性の考慮は、処置効果が存在する場合に被覆率を改善するか？
• RQ4 帰無仮説が実際には誤りである場合、A/Aテストだけでは推論手法の欠陥を検出できるか？
• RQ5 アイテムレベルの処置相互作用は、ユーザのみのブートストラップ法の性能にどのように影響するか？

主な発見

• 独立ブートストラップ法は、第一種誤り率が著しく保守的でなく、名目水準の5％を大幅に上回る。
• 1ウェイ（ユーザレベル）ブートストラップは鋭い帰無仮説下ではまともに機能するが、アイテム-処置相互作用があると著しく保守的でなくなる。
• 中程度のアイテムレベルの分散および相関（σβ=0.5, ρβ=0.75）の下で、ユーザブートストラップの95％信頼区間の実際の被覆率はたった87.5％にとどまる。
• マルチウェイブートストラップは、強いアイテム-処置相互作用下でも名目水準に近い被覆率を維持し、やや保守的である。
• 処置効果が存在する場合、アイテムレベルの依存性を無視すると、誤って狭い信頼区間が得られ、推論が歪められる可能性がある。
• A/Aテストだけでは推論手法の妥当性を検証するには不十分であり、それは帰無仮説下でのみ性能を評価するにすぎず、現実の効果の逸脱状況には対応できない。