[논문 리뷰] Designing and Deploying Online Field Experiments

Eytan Bakshy, Dean Eckles외 1명|arXiv (Cornell University)|2014. 09. 10.

Mobile Crowdsensing and Crowdsourcing참고 문헌 27인용 수 8

한 줄 요약

이 논문은 Facebook에서 대규모 온라인 현장 실험을 가시적이고 재현 가능한 방식으로 수행할 수 있도록 실험 설계를 애플리케이션 코드에서 분리하는 도메인 특화 언어인 PlanOut을 소개한다. PlanOut은 처리 방법을 매개변수화된 스크립트로 표현함으로써 요인 실험 및 조건부 할당과 같은 복잡한 설계를 지원하며, 이름 공간 기반의 관리 시스템을 통해 간섭 최소화와 견고한 로깅을 보장함으로써 실제 디지털 시스템에서 원인 분석의 정교함을 향상시킨다.

ABSTRACT

Online experiments are widely used to compare specific design alternatives, but they can also be used to produce generalizable knowledge and inform strategic decision making. Doing so often requires sophisticated experimental designs, iterative refinement, and careful logging and analysis. Few tools exist that support these needs. We thus introduce a language for online field experiments called PlanOut. PlanOut separates experimental design from application code, allowing the experimenter to concisely describe experimental designs, whether common "A/B tests" and factorial designs, or more complex designs involving conditional logic or multiple experimental units. These latter designs are often useful for understanding causal mechanisms involved in user behaviors. We demonstrate how experiments from the literature can be implemented in PlanOut, and describe two large field experiments conducted on Facebook with PlanOut. For common scenarios in which experiments are run iteratively and in parallel, we introduce a namespaced management system that encourages sound experimental practice.

연구 동기 및 목표

• 대규모 웹 서비스에서 고도로 복잡하고 반복적이며 분산된 온라인 현장 실험을 지원하는 도구의 부족을 해결하기 위해.
• 실험 논리를 애플리케이션 코드에서 분리함으로써 오류를 줄이고 재현 가능성을 향상시키기 위해.
• 간단한 A/B 테스트를 넘어서는 복잡한 실험 설계—예를 들어 요인 실험 및 조건부 할당—의 설계 및 배포를 가능하게 하기 위해.
• 단기 최적화가 아닌 장기적이고 일반화 가능한 지식 생성을 위해 구조적이고 버전 관리된 실험을 통해 지속 가능한 학습을 지원하기 위해.
• 동시에 반복되는 실험을 최소한의 간섭과 일관된 로깅으로 효과적으로 관리할 수 있는 확장 가능한 인프라를 제공하기 위해.

제안 방법

• 실험자가 간단한 스크립트를 사용해 매개변수화된 처리 방법을 정의할 수 있도록 하는 도메인 특화 언어(DSL)인 PlanOut을 도입한다. 이는 저수준의 구현을 추상화한다.
• 기본적인 무작위 할당 원리를 지원하며, 이를 조합하여 다중 요인 및 조건부 실험과 같은 복잡한 설계를 구현할 수 있다.
• 실험 논리는 고수준의 스크립트에 봉인되어 있어 설계가 인간이 이해할 수 있고, 버전 관리가 가능하며 팀 간에 쉽게 공유될 수 있다.
• 이름 공간 기반의 관리 시스템을 도입하여 실험을 격리하고 간섭을 방지하며, 동시에 병렬 및 반복 배포를 지원한다.
• 로그 기반 파이프라인과 통합되어 일관된 데이터 수집을 보장하고 신뢰할 수 있는 통계 분석을 가능하게 한다.
• 사용자 정의 연산자를 통해 오프라인 계산(예: 그래프 분할) 및 다중 팔 랜덤화 또는 클러스터 무작위 할당과 같은 고급 설계와의 통합을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 실험 설계를 애플리케이션 논리에서 추상화하고 분리함으로써 대규모 온라인 실험에서 재현 가능성과 오류 감소를 향상시킬 수 있는가?
• RQ2 생산 환경에서 요인 실험 또는 조건부 할당과 같은 비단순적인 복잡한 실험 설계를 지원하기 위해 필요한 설계 패tern과 언어 구조는 무엇인가?
• RQ3 어떻게 반복적이고 동시에 진행되는 실험을 효과적으로 관리하여 간섭을 방지하고 통계적 타당성을 확보할 수 있는가?
• RQ4 표준화되고 중심화된 프레임워크는 온라인 현장 실험의 확장성과 과학적 엄밀함을 어떻게 향상시킬 수 있는가?
• RQ5 네트워크 효과나 이질적인 치료 반응이 존재하는 상황에서 실험 결과가 시간과 인구 집단을 넘어 일반화될 수 있는 방법은 무엇인가?

주요 결과

• PlanOut은 애플리케이션 코드에서 분리된 간결하고 인간이 읽을 수 있는 스크립트를 통해 요인 실험 및 조건부 할당과 같은 복잡한 실험 설계를 정의할 수 있다.
• 언어와 관련된 관리 시스템 덕분에 대규모 분산 개발 환경에서도 설계나 분석 오류의 위험을 최소화하면서 안전하고 반복적인 실험을 수행할 수 있다.
• 실험 논리를 중앙 집중화함으로써 재현 가능성 향상과 팀 간의 버전 관리, 로깅, 분석의 용이성을 높였다.
• 시스템은 단순한 A/B 테스트를 넘어서 사용자 행동과 설계 메커니즘에 대한 원인 분석을 가능하게 하는 실험 배포를 지원한다.
• Facebook에서 PlanOut을 사용한 결과, 일관되고 감사 가능하며 분석 가능한 대규모 현장 실험을 수행할 수 있었으며, 단기 최적화가 아닌 장기적 학습을 지원했다.
• 사용자 정의 연산자를 통해 오프라인 계산(예: 그래프 분할)과의 통합을 지원함으로써 클러스터 무작위 할당과 같은 고급 설계를 구현할 수 있었다.