[論文レビュー] Harnessing Natural Experiments to Quantify the Causal Effect of Badges

Tomasz Kuśmierczyk, Manuel Gomez-Rodriguez|arXiv (Cornell University)|Jul 25, 2017

Advanced Causal Inference Techniques参考文献 3被引用数 4

ひとこと要約

本稿では、Stack Overflowにおける遅延導入による自然実験を用いて、オンラインQ&Aプラットフォームにおける初回バッジのユーザー行動への因果的影響を定量化する、新しい生存基盤の因果推論フレームワークを提案する。バッジの影響は、行動の初期効用が低い場合にのみ顕著であり、効果的なバッジは、ユーザーの貢献を促進することでコミュニティレベルのサイト機能を向上させることを示している。

ABSTRACT

A wide variety of online platforms use digital badges to encourage users to take certain types of desirable actions. However, despite their growing popularity, their causal effect on users' behavior is not well understood. This is partly due to the lack of counterfactual data and the myriad of complex factors that influence users' behavior over time. As a consequence, their design and deployment lacks general principles. In this paper, we focus on first-time badges, which are awarded after a user takes a particular type of action for the first time, and study their causal effect by harnessing the delayed introduction of several badges in a popular Q&A website. In doing so, we introduce a novel causal inference framework for badges whose main technical innovations are a robust survival-based hypothesis testing procedure, which controls for the utility heterogeneity across users, and a bootstrap difference-in-differences method, which controls for the random fluctuations in users' behavior over time. We find that first-time badges steer users' behavior if the utility a user obtains from taking the corresponding action is sufficiently low, otherwise, the badge does not have a significant effect. Moreover, for badges that successfully steered user behavior, we perform a counterfactual analysis and show that they significantly improved the functioning of the site at a community level.

研究の動機と目的

• 従来の手法が反事後データを欠如しているため、オンラインコミュニティにおける初回バッジの因果的影響を理解すること。
• 因果推論を混乱させる要因としての、ユーザー効用の異質性や、ユーザー行動におけるランダムな時間的変動を扱うこと。
• ユーザー動機や行動メカニズムに関する強い仮定を避けるために、初回バッジに特化したデータ駆動型因果推論フレームワークを開発すること。
• 反事後分析を用いて、バッジがコミュニティレベルのプラットフォーム機能を改善するかどうかを評価すること。
• バッジが行動を効果的に誘導する条件を同定することで、一般化可能なバッジ設計原則を提供すること。

提案手法

• ユーザーが行動を取る際の効用の異質性を考慮するため、行動の初回実行までの時間を生存プロセスとしてモデル化し、生存に基づく仮説検定手順を用いる。
• ユーザー行動の時間的ランダム変動を制御するため、ブートストラップ差分差分法を用い、バッジ導入前後を比較する。
• フレームワークは、Stack Overflowにおけるバッジの遅延導入を自然実験として活用し、導入時刻を構造的介入とみなす。
• 報酬付きおよび非報酬付き条件の両方で、生存強度モデルの最尤推定を用いて、報酬付きボーナスまでの時間および初回回答までの時間を分析する。
• 推定された生存モデルを用いて、バッジが導入されなかった場合の結果を予測する反事後シミュレーションを生成する。
• 本手法を、プロモーター、インベスター、タグエディターバッジに適用し、報酬提供およびタグウィキ作成への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 初回バッジの導入が、報酬提供や質問への回答といったユーザー行動のタイミングに因果的に影響を与えるか？
• RQ2 特にユーザー効用の観点から、初回バッジがユーザー行動を効果的に誘導する条件は何か？
• RQ3 初回バッジは、コミュニティレベルのQ&Aプラットフォームの機能にどのように影響を与えるか？
• RQ4 ユーザー行動の時間的ランダム変動が、バッジ効果の測定をどの程度混乱させるか？
• RQ5 反事後分析によれば、バッジが存在しなかった場合、プラットフォームのパフォーマンスが悪化していたのだろうか？

主な発見

• 初回バッジは、行動の初期効用が低い場合にのみ、ユーザー行動に顕著な影響を与える。効用がすでに高い場合には、有意な影響は観察されない。
• タグエディターバッジは導入直後にタグウィキ作成の速度を向上させたが、人気タグが効用向上の閾値に達したことで効果は時間とともに薄れた。
• インベスター・バッジは、質問作成者以外が報酬を提供した場合、報酬提供までの時間と初回回答までの時間を短縮し、反応速度を加速させた。
• 報酬なしの質問や自己提供報酬付きの質問では、反事後世界において初回回答までの時間が延長されていたことから、バッジが応答性の全体的低下を緩和していたことが示された。
• 反事後分析により、インベスター・バッジがユーザーの反応速度の世界的な遅延を是正することで、全体的なサイト機能を改善していた。
• 結果から、バッジの有効性はユーザー効用に依存することが示唆され、バッジが一貫して参加を促進すると仮定する考え方は疑問視される。