[논문 리뷰] Harnessing Natural Experiments to Quantify the Causal Effect of Badges

Tomasz Kuśmierczyk, Manuel Gomez-Rodriguez|arXiv (Cornell University)|2017. 07. 25.

Advanced Causal Inference Techniques참고 문헌 3인용 수 4

한 줄 요약

이 논문은 스택 오버플로우에서 지연된 배지 도입을 통한 자연적 실험을 활용하여 온라인 Q&A 플랫폼에서 첫 번째 배지가 사용자 행동에 미치는 인과적 영향을 정량화하기 위해 새로운 생존 기반 인과 추론 프레임워크를 제안한다. 연구 결과, 배지가 행동에 유의미하게 영향을 미치는 것은 행동의 初기 유용성이 낮을 때에만이며, 효과적인 배지의 경우 사용자 기여를 가속화시켜 공동체 수준의 사이트 기능 향상에 기여한다.

ABSTRACT

A wide variety of online platforms use digital badges to encourage users to take certain types of desirable actions. However, despite their growing popularity, their causal effect on users' behavior is not well understood. This is partly due to the lack of counterfactual data and the myriad of complex factors that influence users' behavior over time. As a consequence, their design and deployment lacks general principles. In this paper, we focus on first-time badges, which are awarded after a user takes a particular type of action for the first time, and study their causal effect by harnessing the delayed introduction of several badges in a popular Q&A website. In doing so, we introduce a novel causal inference framework for badges whose main technical innovations are a robust survival-based hypothesis testing procedure, which controls for the utility heterogeneity across users, and a bootstrap difference-in-differences method, which controls for the random fluctuations in users' behavior over time. We find that first-time badges steer users' behavior if the utility a user obtains from taking the corresponding action is sufficiently low, otherwise, the badge does not have a significant effect. Moreover, for badges that successfully steered user behavior, we perform a counterfactual analysis and show that they significantly improved the functioning of the site at a community level.

연구 동기 및 목표

• 기존 방법이 대조군 데이터를 확보하지 못하는 상황에서 온라인 커뮤니티에서 첫 번째 배지가 사용자 행동에 미치는 인과적 영향을 이해하기 위해.
• 사용자 행동의 유용성 이질성과 랜덤한 시간적 변동성 등 인과 추론을 방해하는 도전 과제를 해결하기 위해.
• 사용자 동기나 행동 메커니즘에 대한 강력한 가정 없이, 첫 번째 배지에 특화된 데이터 기반 인과 추론 프레임워크를 개발하기 위해.
• 배지가 대조군 분석을 통해 공동체 수준의 플랫폼 기능 향상에 기여하는지 평가하기 위해.
• 배지가 행동을 효과적으로 이끌 수 있는 조건을 규명함으로써 일반화 가능한 설계 원칙을 제공하기 위해.

제안 방법

• 사용자가 행동을 취할 때의 이질적인 유용성에 대응하기 위해 생존 과정으로서의 첫 번째 행동까지의 시간을 모델링하는 강력한 생존 기반 가설 검증 절차를 사용한다.
• 사용자 행동의 시간에 따른 랜덤한 변동성을 제어하기 위해 부트스트랩 차이의 차이(bootstrap difference-in-differences) 방법을 적용하며, 배지 도입 전·후 기간을 비교한다.
• 스택 오버플로우에서의 지연된 배지 도입을 자연적 실험으로 활용하며, 도입 시기를 구조적 간섭로 간주한다.
• 시간-보상까지의 시간과 시간-첫 번째 답변까지의 시간에 대한 생존 강도 모델에 최대우도추정법을 적용하며, 배지 수여 여부에 따라 각각 별도로 모수를 추정한다.
• 추정된 생존 모델을 기반으로 배지 도입이 없었을 경우를 예측하는 대조군 시뮬레이션을 생성한다.
• 이 방법은 프로모터, 인베스터, 태그 에디터 배지에 적용되어 보상 제공 및 태그 위키 생성에 대한 영향을 평가한다.

실험 결과

연구 질문

• RQ1 첫 번째 배지의 도입이 보상 제공이나 질문에 대한 답변과 같은 사용자 행동의 시기 인과적으로 영향을 미치는가?
• RQ2 특히 사용자 유용성 측면에서, 첫 번째 배지가 사용자 행동을 성공적으로 이끄는 조건은 무엇인가?
• RQ3 첫 번째 배지는 공동체 수준에서 Q&A 플랫폼의 전반적인 기능에 어떤 영향을 미치는가?
• RQ4 사용자 행동의 시간적 랜덤 변동성이 배지 효과 측정을 얼마나 심각하게 방해하는가?
• RQ5 대조군 분석에 따르면, 배지가 없었더라면 플랫폼 성능이 악화되었을까?

주요 결과

• 첫 번째 배지가 사용자 행동에 유의미하게 영향을 미치는 것은 행동의 초기 유용성이 낮을 때에만이며, 유용성이 이미 높을 경우는 유의미한 영향을 보이지 않는다.
• 태그 에디터 배지의 도입 직후 태그 위키 생성 속도가 증가했지만, 인기 태그들이 유용성 향상 기준에 도달함에 따라 효과는 시간이 지남에 따라 감소했다.
• 인베스터 배지의 경우, 질문자 외의 사용자가 보상을 제공할 때 보상 제공까지의 시간과 첫 번째 답변까지의 시간이 단축되어 반응 속도가 빨라졌다.
• 보상이 없는 질문이나 질문자가 스스로 보상을 제공한 경우, 대조군 세계에서는 첫 번째 답변까지의 시간이 증가했으며, 이는 배지가 반응성 저하를 완화시켰음을 시사한다.
• 대조군 분석 결과, 인베스터 배지가 사용자 반응 시간의 전반적 저하를 상쇄함으로써 전체 사이트 기능 향상에 기여했다.
• 결과적으로 배지의 효과는 사용자 유용성에 조건부로 작용하며, 배지가 항상 참여를 유도한다는 가정에 도전한다.