[論文レビュー] Automatic Detection and Diagnosis of Biased Online Experiments

Nanyu Chen, Min Liu+1 more|arXiv (Cornell University)|Jul 31, 2018

Machine Learning and Data Classification参考文献 11被引用数 6

ひとこと要約

本論文では、過去の実験データを用いたスケーラブルな統計的アルゴリズムにより、オンラインA/B実験における4つの一般的なバイアス—設計によるバイアス、自己選択バイアス、新規性効果、トリガー日効果—を自動で検出・診断するシステムを提示する。このアプローチにより、バイアスの原因をリアルタイムで特定でき、非専門家にとってのA/Bテストの信頼性とアクセス可能性が著しく向上する。

ABSTRACT

We have seen a massive growth of online experiments at LinkedIn, and in industry at large. It is now more important than ever to create an intelligent A/B platform that can truly democratize A/B testing by allowing everyone to make quality decisions, regardless of their skillset. With the tremendous knowledge base created around experimentation, we are able to mine through historical data, and discover the most common causes for biased experiments. In this paper, we share four of such common causes, and how we build into our A/B testing platform the automatic detection and diagnosis of such root causes. These root causes range from design-imposed bias, self-selection bias, novelty effect and trigger-day effect. We will discuss in detail what each bias is and the scalable algorithm we developed to detect the bias. Surfacing up the existence and root cause of bias automatically for every experiment is an important milestone towards intelligent A/B testing.

研究の動機と目的

• 大規模なA/Bテストプラットフォームにおけるバイアスの増加する課題に対処すること。
• あらゆるスキルレベルのユーザーが信頼できるデータドリブンな意思決定が行えるように、A/Bテストを民主化すること。
• 過去のデータから、実験バイアスの最も一般的な原因を特定・体系化すること。
• すべての実験に対してバイアス原因をリアルタイムで可視化する自動検出・診断システムを開発すること。
• スケーラブルでデータドリブンなバイアス検出を通じて、A/Bテストプラットフォームの知能性と信頼性を高めること。

提案手法

• システムは過去のA/B実験データを収集し、既知のバイアスタイプに関連するパターンを特定する。
• 処理群と対照群の比較における乖離を検出する統計モデルを適用し、バイアスを示す兆候を特定する。
• 各バイアスタイプごとに、時間的変動、人口統計的要因、行動パターンなどの特徴に基づいた特定の検出アルゴリズムを設計する。
• これらのアルゴリズムを統合したパイプラインを構築し、潜在的なバイアスを有する実験をフラグ付け、原因を特定する。
• 診断部では特徴工学とパターン認識を用いて、露出タイミングや選択メカニズムなどの原因にまでたどり着く。
• このシステムはLinkedInで本番環境にデプロイされており、数千件の並行実験をカバーする規模で運用されている。

実験結果

リサーチクエスチョン

• RQ1 大規模オンラインA/B実験におけるバイアスの最も一般的な原因は何か？
• RQ2 過去のデータと統計モデリングを用いて、A/B実験におけるバイアスを自動で検出できるか？
• RQ3 自動診断は、高い正確性とスケーラビリティを備えてバイアスの根本原因を特定できるか？
• RQ4 設計によるバイアス、自己選択バイアス、新規性効果、トリガー日効果は、実世界の実験データにどのように現れるか？
• RQ5 自動検出は、非専門家ユーザーにとってのA/Bテストの信頼性とアクセス可能性をどの程度向上できるか？

主な発見

• システムは、数千件の実世界の実験において、設計によるバイアス、自己選択バイアス、新規性効果、トリガー日効果という4つの主要バイアスタイプを正常に検出できた。
• 自動診断により、フラグが立った実験の大部分でバイアスの根本原因を正確に特定でき、手動での調査時間を大幅に削減した。
• バイアス検出機能をA/Bテストプラットフォームに統合することで、実験の妥当性に関するリアルタイムのアラートと推奨事項が可能になった。
• 隠れたバイアスを事前に明らかにすることで、実験結果の信頼性が著しく向上した。
• システムによりプラットフォームの使いやすさが向上し、非専門家ユーザーが実験結果をより自信を持って活用できるようになった。
• この手法はLinkedInの本番環境においても効果的にスケーリングでき、高負荷でリアルタイムの実験ワークロードを処理できた。