[논문 리뷰] Democratizing online controlled experiments at Booking.com

Raphaël Lopez Kaufman, Jegar Pitchforth외 1명|arXiv (Cornell University)|2017. 10. 23.

Scientific Computing and Data Management참고 문헌 9인용 수 22

한 줄 요약

Booking.com은 중앙 집중식 실험 결과 저장소, 일반적이고 확장 가능한 코드 라이브러리, 실시간 데이터 품질 모니터링, 종단 간 소유권 보호 조치를 갖춘 확장성 있고 탈중앙화된 인프라를 구축함으로써 온라인 통제 실험을 민주화한다. 이는 모든 팀이 실험을 안전하고 효율적으로 실행하고 분석하며 소유할 수 있도록 하여 조직 전반에서 증거 기반 제품 개발을 크게 가속화한다.

ABSTRACT

There is an extensive literature about online controlled experiments, both on the statistical methods available to analyze experiment results as well as on the infrastructure built by several large scale Internet companies but also on the organizational challenges of embracing online experiments to inform product development. At Booking.com we have been conducting evidenced based product development using online experiments for more than ten years. Our methods and infrastructure were designed from their inception to reflect Booking.com culture, that is, with democratization and decentralization of experimentation and decision making in mind. In this paper we explain how building a central repository of successes and failures to allow for knowledge sharing, having a generic and extensible code library which enforces a loose coupling between experimentation and business logic, monitoring closely and transparently the quality and the reliability of the data gathering pipelines to build trust in the experimentation infrastructure, and putting in place safeguards to enable anyone to have end to end ownership of their experiments have allowed such a large organization as Booking.com to truly and successfully democratize experimentation.

연구 동기 및 목표

• 기술적 및 문화적 장벽을 제거하여 Booking.com 전 부서에서 널리 퍼진 탈중앙화된 실험을 가능하게 하기 위해.
• 실험 확장에 따른 조직적 과제를 해결하기 위해 소유권, 신뢰, 지식 공유를 촉진하기 위해.
• 자동화된 보호 조치와 투명한 보고서를 통해 대규모 온라인 실험에서 통계적 엄밀성과 데이터 신뢰성을 확보하기 위해.
• 실험 설계의 사전 등록 및 동료 검토를 강제하여 p-hacking과 편향된 의사결정을 줄이기 위해.
• 확장 가능한 추적 및 지표 프레임워크를 통해 제품 간 및 부서 간 실험을 지원하기 위해.

제안 방법

• 모든 과거 실험의 가설, 결과, 결정을 포함한 중앙 집중식 검색 가능한 저장소를 유지하여 팀 간 학습과 감사 가능성을 보장한다.
• 랜덤화, 데이터 수집, 보고 기능을 추상화한 일반적이고 확장 가능한 API 계층을 제공하여 실험을 비즈니스 로직에서 분리한다.
• 실시간 및 배치 집계 지표를 모두 지원하는 확장 가능한 지표 프레임워크를 활용하며, 이중 이진 및 연속 결과를 지원한다.
• 이메일, 사용자 ID 등 확장 가능한 추적 방법을 사용하여 제품 간 실험을 가능하게 하고 사용자 수준의 추적 정밀도를 향상시킨다.
• 선택적 탈락 및 누락된 식별자를 탐지하기 위한 자동화된 데이터 품질 점검을 구현하며, 경고와 보고서 내에서의 가시성을 제공한다.
• 실험 실행 이전에 가설과 지표의 사전 등록을 강제하여 p-hacking을 줄이고 통계적 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 Booking.com과 같은 대규모 조직이 통계적 엄밀성과 데이터 품질을 유지하면서도 실험을 탈중앙화할 수 있는 방법은 무엇인가?
• RQ2 비전문가가 온라인 통제 실험을 실행하고 해석할 수 있도록 하기 위해 필요한 인프라와 문화적 관행는 무엇인가?
• RQ3 조직이 과거 실험의 교훈을 체계적으로 공유하여 실패를 반복하지 않고 혁신을 가속화할 수 있는 방법은 무엇인가?
• RQ4 온라인 실험에서 누락되거나 편향된 데이터가 존재할 경우 데이터 신뢰성을 확보하기 위해 필요한 보호 조치는 무엇인가?
• RQ5 실험 속도와 비즈니스 영향 측정의 정확성 사이를 균형 잡기 위해 조직은 어떻게 해야 하는가?

주요 결과

• Booking.com은 모든 제품에서 매일 수천 개의 동시 실험을 수행하며, 실험은 기업 문화에 깊이 통합되어 있다.
• 중앙 집중식 실험 저장소 덕분에 팀 간 학습과 과거 통찰의 재사용이 가능해져 결정 품질과 혁신 속도가 크게 향상되었다.
• 확장 가능한 API와 지표 프레임워크 덕분에 팀은 최소한의 커스터마이제이션 코드로 새로운 실험을 구현할 수 있었으며, 이로 인해 장벽과 배포 시간이 감소했다.
• 선택적 탈락과 누락된 식별자를 자동으로 탐지함으로써 오해의 소지 있는 결론을 방지하고 실험 결과에 대한 신뢰를 높였다.
• 사전 등록 및 동료 검토 관행 덕분에 p-hacking이 감소했고 실험 결과의 신뢰성이 향상되었다.
• 종단 간 소유권에 더해 교육과 지원을 병행함으로써 비전문가도 실험 데이터에 기반해 정보 기반 결론을 내릴 수 있게 되었다.