[論文レビュー] Applying the Delta method in metric analytics: A practical guide with novel ideas

Alex Deng, Ulf Knoblich+1 more|arXiv (Cornell University)|Mar 16, 2018

Distributed Sensor Networks and Detection Algorithms参考文献 25被引用数 5

ひとこと要約

本稿は、大規模なメトリクス分析におけるデルタ法の実用的応用ガイドを提示しており、比、分位数、被験者内A/Bテスト統計量といった複雑なオンラインメトリクスに対する効率的で分散型の推論を可能にしている。漸近的正規性と非線形変換を活用することで、デルタ法は閉形式の分散推定値を提供し、並列処理が容易であり、シミュレーションベースの手法を凌駕し、欠損データに対しても頑健に耐える。

ABSTRACT

During the last decade, the information technology industry has adopted a data-driven culture, relying on online metrics to measure and monitor business performance. Under the setting of big data, the majority of such metrics approximately follow normal distributions, opening up potential opportunities to model them directly without extra model assumptions and solve big data problems via closed-form formulas using distributed algorithms at a fraction of the cost of simulation-based procedures like bootstrap. However, certain attributes of the metrics, such as their corresponding data generating processes and aggregation levels, pose numerous challenges for constructing trustworthy estimation and inference procedures. Motivated by four real-life examples in metric development and analytics for large-scale A/B testing, we provide a practical guide to applying the Delta method, one of the most important tools from the classic statistics literature, to address the aforementioned challenges. We emphasize the central role of the Delta method in metric analytics by highlighting both its classic and novel applications.

研究の動機と目的

• ビッグデータ環境における複雑なオンラインメトリクスの信頼性の高い推定と推論の課題に取り組む。
• ブートストラップのようなシミュレーションベースの手法の限界を克服し、閉形式で分散処理可能な計算を可能にする。
• 被験者内研究における比メトリクス、分位数メトリクス、クラスタリングされたランダム化、欠損データの統合的フレームワークを提供する。
• 非i.i.d.データ構造を伴う実世界のA/Bテストシナリオにおいて、デルタ法の柔軟性と頑健性を示す。
• 治療効果に依存する欠損パターン下での混合効果モデルの限界を明らかにし、デルタ法を優れた代替手段として位置づける。

提案手法

• 第一順位のテイラー展開を用いて、標本平均の漸近的正規性を非線形変換されたメトリクスへと拡張し、デルタ法を適用する。
• デルタ法を用いて、シミュレーションを回避し、分散処理可能な閉形式の分散推定値を比メトリクスに対して導出する。
• 外側信頼区間をデルタ法と組み合わせることで、分位数ベースのメトリクスの分散推定を、頑健で非パラメトリックな方法で行う。
• 欠損データを扱うための新規技術として、データ増強を提案し、統計的効率性を維持する。
• 加重平均推定子を完全群と不完全群の推定値の橋渡しとして定式化し、固定効果仮定下で混合効果モデルと同等であることを示す。
• すべての手法を分散システム（例：Apache Spark）に実装することで、スケーラビリティと低コストな計算を確保する。

実験結果

リサーチクエスチョン

• RQ1 大規模なA/Bテストにおける比や分位数といった複雑なメトリクスに対して、デルタ法をどのように効率的で閉形式の推論に活用できるか？
• RQ2 分散型ビッグデータシステムにおいて、デルタ法はブートストラップのようなシミュレーションベースの手法に比べてどのような利点を有するか？
• RQ3 治療効果と相関する欠損メカニズムがある場合、被験者内研究における欠損データをデルタ法がどのように処理するか？
• RQ4 治療効果が欠損データパターンごとに変動する場合、デルタ法は混合効果モデルをどのように上回るか？
• RQ5 クラスタリングされたランダム化や縦断的デザインを含む広範なメトリクス分析問題に、デルタ法を体系的に適用可能か？

主な発見

• デルタ法により、比メトリクスに対して閉形式で分散処理可能な分散推定が可能となり、シミュレーションを一切用いずに高い精度が達成された。
• 分位数メトリクスに関しては、デルタ法と外側信頼区間を組み合わせることで、従来のブートストラップ法よりも信頼性の高い分散推定が得られた。
• 欠損データを伴う被験者内研究において、データ増強を施したデルタ法は一貫性があり、効率的な推定を提供するが、治療効果と相関する欠損が生じる場合には混合効果モデルはバイアスを生じる可能性がある。
• 固定効果仮定下で、デルタ法によって導出された加重平均推定子は、混合効果モデルと非常に近い結果を示し、理論的整合性を裏付けた。
• 情報的欠損が生じる状況下でも、デルタ法の分散推定値は混合効果モデルの推定値よりも真の標本分散に一貫して近い。
• 提案されたすべての手法は、並列処理が容易であり、Apache Sparkのような分散システムに効率的に実装可能であり、大規模なリアルタイムメトリクス分析を可能にした。