[論文レビュー] A Two-Part Machine Learning Approach to Characterizing Network Interference in A/B Testing

Yuan Yuan, Kristen M. Altenburger|arXiv (Cornell University)|Aug 18, 2023

Social Media and PoliticsSocial Sciences被引用数 3

ひとこと要約

本稿では、因果的ネットワークモチーフを導入し、露出マッピングを自動化する透明なモデルを用いて、A/B ティングの不均一なネットワーク干渉を検出および特徴付ける二段階の機械学習手法を提案する。シミュレーションおよび100万〜200万のInstagramユーザーを対象とした実世界のテストにおいて、クラスターランダム化や近隣露出マッピングといった従来手法を上回る性能を示した。

ABSTRACT

The reliability of controlled experiments, commonly referred to as "A/B tests," is often compromised by network interference, where the outcomes of individual units are influenced by interactions with others. Significant challenges in this domain include the lack of accounting for complex social network structures and the difficulty in suitably characterizing network interference. To address these challenges, we propose a machine learning-based method. We introduce "causal network motifs" and utilize transparent machine learning models to characterize network interference patterns underlying an A/B test on networks. Our method's performance has been demonstrated through simulations on both a synthetic experiment and a large-scale test on Instagram. Our experiments show that our approach outperforms conventional methods such as design-based cluster randomization and conventional analysis-based neighborhood exposure mapping. Our approach provides a comprehensive and automated solution to address network interference for A/B testing practitioners. This aids in informing strategic business decisions in areas such as marketing effectiveness and product customization.

研究の動機と目的

• A/B ティングにおけるネットワーク干渉の課題に対処すること。これは、安定単位処置値仮定（SUTVA）を破るため、因果的推論の妥当性を損なう。
• 従来の手法の限界——特に手動または固定された露出マッピングや強いパラメトリック仮定への依存——を克服し、干渉パターンの自動同定を実現すること。
• 大規模なデジタルプラットフォームにおける複雑なネットワーク構造における不均一な干渉を特徴付けるスケーラブルで解釈可能なフレームワークを開発すること。
• 過去のA/B ティングの後向き分析を可能にし、将来の実験設計を支援するために、背後にある干渉メカニズムを明らかにすること。

提案手法

• 干渉パターンの再発する構造的特徴として、解釈可能な『因果的ネットワークモチーフ』を導入し、機械学習モデルの特徴工学を可能にする。
• 観測された処置および結果データから露出マッピング関数を学習するために、透明で解釈可能な機械学習モデル（例：決定木や一般化線形モデル）を適用する。
• 二段階のフレームワークを採用する：第一段階では、ネットワークトポロジーから因果的ネットワークモチーフを抽出する。第二段階では、これらのモチーフを用いて機械学習モデルを訓練し、露出状態を予測し、処置効果を推定する。
• 合成ネットワーク（Watts-StrogatzおよびSlashdot）を用いたシミュレーションによる検証と、100万〜200万のユーザーを含む大規模なInstagram A/B ティングの実世界データを用いた検証を実施する。
• 設計ベースのクラスターランダム化や分析ベースの近隣露出マッピングといった従来手法と性能を比較検証する。
• モデルの解釈可能性を統合し、実務者が同定された干渉パターンを理解し、製品やマーケティング戦略の意思決定に活用できるように支援する。

実験結果

リサーチクエスチョン

• RQ1 事前に指定された露出マッピングに依存せずに、A/B ティングにおける不均一なネットワーク干渉パターンを自動的に同定および特徴付ける方法は何か？
• RQ2 複雑な干渉が存在する状況において、因果的ネットワークモチーフは処置効果推定の正確性をどの程度向上できるか？
• RQ3 機械学習ベースのアプローチは、干渉下でのグローバル平均処置効果の推定において、従来の設計ベースおよび分析ベースの手法を上回ることができるか？
• RQ4 干渉パターンは異なるネットワーク構造によってどのように変化するか？また、この手法は多様なネットワークトポロジーに一般化可能か？

主な発見

• 提案手法は、合成および実世界の両方の実験において、設計ベースのクラスターランダム化や分析ベースの近隣露出マッピングといった従来手法を顕著に上回った。
• 100万〜200万のInstagramユーザーを対象とした大規模なA/B ティングにおいて、ネットワーク干渉に起因するバイアスを低減し、処置効果の推定精度が著しく向上した。
• 因果的ネットワークモチーフの使用により、標準的な露出マッピング技術が見逃していた非自明な干渉パターンを同定できた。
• Watts-StrogatzおよびSlashdotネットワークを含むさまざまなネットワークタイプにおいて、安定した性能を発揮し、一般化可能性を確認した。
• 透明な機械学習モデルにより、解釈可能な露出マッピングが得られ、実務者が干渉パターンを理解し、干渉戦略を最適化できるようになった。
• 本手法により、過去の実験の後向き分析が可能となり、隠れた干渉効果が明らかになり、将来のA/B ティングの設計改善に貢献した。