[論文レビュー] Designing and Deploying Online Field Experiments

Eytan Bakshy, Dean Eckles+1 more|arXiv (Cornell University)|Sep 10, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 27被引用数 8

ひとこと要約

この論文は、実験設計をアプリケーションコードから分離することで、Facebookにおけるスケーラブルで再現可能なオンライン現実世界実験を可能にするドメイン固有言語であるPlanOutを紹介する。パラメータ化されたスクリプトとして処理を表現することで、PlanOutは要因設計や条件付き割り当てを含む複雑な設計をサポートする。名前空間管理システムにより、最小限の干渉と強固なログ記録を伴い、反復的で健全な実験が可能となり、実世界のデジタルシステムにおける因果推論を前進させる。

ABSTRACT

Online experiments are widely used to compare specific design alternatives, but they can also be used to produce generalizable knowledge and inform strategic decision making. Doing so often requires sophisticated experimental designs, iterative refinement, and careful logging and analysis. Few tools exist that support these needs. We thus introduce a language for online field experiments called PlanOut. PlanOut separates experimental design from application code, allowing the experimenter to concisely describe experimental designs, whether common "A/B tests" and factorial designs, or more complex designs involving conditional logic or multiple experimental units. These latter designs are often useful for understanding causal mechanisms involved in user behaviors. We demonstrate how experiments from the literature can be implemented in PlanOut, and describe two large field experiments conducted on Facebook with PlanOut. For common scenarios in which experiments are run iteratively and in parallel, we introduce a namespaced management system that encourages sound experimental practice.

研究の動機と目的

• 大規模なウェブサービスにおける洗練された、反復的で分散型のオンラインフィールド実験を支援するツールの欠如に対処すること。
• 実験ロジックをアプリケーションコードから分離することで、エラーを低減し、再現性を向上させること。
• A/Bテストを超える複雑な実験設計（例：要因設計や条件付き割り当て）の設計とデプロイを可能にすること。
• 短期的な最適化ではなく、構造的でバージョン管理された実験を通じて、長期的かつ一般化可能な知識の生成を促進すること。
• 最小限の干渉と一貫性のあるログ記録を伴い、同時に進行する反復的実験を効果的に管理するスケーラブルなインfraストラクチャを提供すること。

提案手法

• 実験者が単純なスクリプトを用いてパラメータ化された処理を定義できるドメイン固有言語（DSL）であるPlanOut。低レベルの実装を抽象化することで、実験者が容易に扱えるようにする。
• 基本的なランダム割り当てプリミティブを提供し、それらを組み合わせることで、多要因や条件付き実験を含む複雑な設計を実装可能にする。
• 実験ロジックを高水準のスクリプトにカプセル化することで、設計が人間が読みやすく、バージョン管理可能になり、チーム間での共有が容易になる。
• 実験を隔離し、干渉を防ぎ、並列的・反復的なデプロイを可能にする名前空間管理システムを導入する。
• ログパイプラインと統合することで、一貫したデータ収集を保証し、信頼性の高い統計的分析を可能にする。
• カスタムオペレータにより、オフライン計算（例：グラフ分割）や、マルチアームバンディット、クラスターランダム化などの高度な設計との統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模なオンライン実験において、実験設計をアプリケーションロジックから抽象化・分離することで、再現性の向上とエラーの低減をどのように達成できるか？
• RQ2 生産環境システムにおいて、要因設計や条件付き割り当てといった複雑で非自明な実験設計をサポートするには、どのような設計パターンと言語構文が必要か？
• RQ3 干渉を防ぎ、統計的妥当性を保つために、反復的かつ並列的な実験を効果的に管理するにはどうすればよいか？
• RQ4 標準化され、中央集権的なフレームワークがオンラインフィールド実験のスケーラビリティと科学的厳密性をどのように向上させられるか？
• RQ5 ネットワーク効果や非一様な処理反応が存在する状況において、実験結果を時間的・集団的要因に一般化可能にするにはどうすればよいか？

主な発見

• PlanOutは、アプリケーションコードから分離された簡潔で人間が読みやすいスクリプトを用いて、要因設計や条件付き割り当てを含む複雑な実験設計を指定可能にする。
• 言語と関連する管理システムにより、大規模で分散型のエンジニアリング環境においても、設計や分析のエラーのリスクを最小限に抑え、安全で反復的な実験が可能になる。
• 実験ロジックを集中管理することで、再現性が向上し、チーム間でのバージョン管理、ログ記録、分析が容易になる。
• システムは、単なるA/Bテストを超える実験のデプロイを可能にし、ユーザー行動や設計メカニズムに関する因果推論を可能にする。
• FacebookでのPlanOutの使用により、一貫性があり、監査可能で分析可能な結果を持つ大規模なフィールド実験が実現され、短期的な最適化ではなく長期的学習を支援した。
• カスタムオペレータを介して、オフライン計算（例：グラフ分割）との統合が可能であり、クラスターランダム化などの高度な設計を実現できる。