[논문 리뷰] Automatic Detection and Diagnosis of Biased Online Experiments

Nanyu Chen, Min Liu외 1명|arXiv (Cornell University)|2018. 07. 31.

Machine Learning and Data Classification참고 문헌 11인용 수 6

한 줄 요약

이 논문은 이력 실험 데이터를 기반으로 확장 가능한 통계 알고리즘을 사용하여 온라인 A/B 실험에서 발생하는 네 가지 일반적인 편향—설계에 의한 편향, 자가 선택 편향, 신선함 효과, 트리거일 효과—를 자동으로 탐지하고 진단하는 자동화된 시스템을 제시한다. 이 방법은 편향의 근본 원인을 실시간으로 식별할 수 있게 하여 비전문가를 위한 A/B 테스트의 신뢰성과 접근성에 크게 기여한다.

ABSTRACT

We have seen a massive growth of online experiments at LinkedIn, and in industry at large. It is now more important than ever to create an intelligent A/B platform that can truly democratize A/B testing by allowing everyone to make quality decisions, regardless of their skillset. With the tremendous knowledge base created around experimentation, we are able to mine through historical data, and discover the most common causes for biased experiments. In this paper, we share four of such common causes, and how we build into our A/B testing platform the automatic detection and diagnosis of such root causes. These root causes range from design-imposed bias, self-selection bias, novelty effect and trigger-day effect. We will discuss in detail what each bias is and the scalable algorithm we developed to detect the bias. Surfacing up the existence and root cause of bias automatically for every experiment is an important milestone towards intelligent A/B testing.

연구 동기 및 목표

• 대규모 A/B 테스트 플랫폼에서 증가하는 편향 실험 문제를 해결하기 위해.
• 모든 수준의 사용자가 신뢰할 수 있고 데이터 기반의 결정을 내릴 수 있도록 A/B 테스트를 민주화하기 위해.
• 이력 데이터에서 가장 흔한 실험 편향의 근본 원인을 식별하고 체계화하기 위해.
• 모든 실험에 대해 편향 원인을 실시간으로 노출하는 자동 탐지 및 진단 시스템을 개발하기 위해.
• 확장 가능한 데이터 기반의 편향 탐지로 A/B 테스트 플랫폼의 지능성과 신뢰성을 향상시키기 위해.

제안 방법

• 시스템은 이력 A/B 실험 데이터를 분석하여 알려진 편향 유형과 관련된 패턴을 식별한다.
• 통계 모델을 적용하여 치료군과 대조군 간 비교에서 편향을 나타내는 이질성을 탐지한다.
• 각 편향 유형에 대해 고유한 시간적, 인구통계학적 또는 행동 패턴을 기반으로 전용 탐지 알고리즘을 설계한다.
• 이러한 알고리즘을 통합된 파이프라인에 통합하여 잠재적인 편향이 있는 실험을 경고하고 근본 원인을 할당한다.
• 진단 구성 요소는 특징 공학과 패턴 인식을 활용하여 편향의 근본 원인, 예를 들어 사용자 노출 시점이나 선택 메커니즘 등을 추적한다.
• 전체 시스템은 링크드인의 프로덕션 환경에 구현되어 수천 개의 동시 실험을 대상으로 대규모로 운영된다.

실험 결과

연구 질문

• RQ1 대규모 온라인 A/B 실험에서 편향의 가장 흔한 원인은 무엇인가요?
• RQ2 이력 데이터와 통계 모델링을 사용하여 A/B 실험의 편향을 자동으로 탐지할 수 있는 방법은 무엇인가요?
• RQ3 자동 진단이 높은 정확도와 확장성으로 편향의 근본 원인을 식별할 수 있을까요?
• RQ4 설계에 의한 편향, 자가 선택 편향, 신선함 효과, 트리거일 효과는 실제 실험 데이터에서 어떻게 나타나나요?
• RQ5 자동 탐지가 비전문가 사용자에게 A/B 테스트의 신뢰성과 접근성을 얼마나 향상시킬 수 있을까요?

주요 결과

• 시스템은 수천 개의 실제 실험에서 설계에 의한 편향, 자가 선택 편향, 신선함 효과, 트리거일 효과를 포함한 네 가지 주요 편향 유형을 성공적으로 탐지했다.
• 자동 진단은 경고된 실험의 대부분에서 편향의 근본 원인을 정확하게 식별하여 수동 조사 시간을 크게 줄였다.
• A/B 테스트 플랫폼에 편향 탐지 기능을 통합함으로써 실험 유효성에 대한 실시간 경고와 권고가 가능해졌다.
• 결론을 도출하기 이르기 전에 숨겨진 편향을 노출시킴으로써 실험 결과의 신뢰성을 크게 향상시켰다.
• 시스템은 플랫폼의 사용성을 향상시켜 비전문가 사용자가 실험 결과를 더 자신감 있게 신뢰하고 활용할 수 있게 하였다.
• 이 방법은 링크드인의 프로덕션 환경에 효과적으로 스케일링되어 고성능 실시간 실험 워크로드를 처리할 수 있었다.