[논문 리뷰] Applying the Delta method in metric analytics: A practical guide with novel ideas

Alex Deng, Ulf Knoblich외 1명|arXiv (Cornell University)|2018. 03. 16.

Distributed Sensor Networks and Detection Algorithms참고 문헌 25인용 수 5

한 줄 요약

이 논문은 대규모 메트릭 분석에서 델타 방법을 적용하는 실용적인 가이드를 제시하며, 비율, 분위수, 내부 주체 A/B 테스트 통계와 같은 복잡한 온라인 메트릭에 대해 효율적이고 분산된 추론을 가능하게 한다. 渐近 정규성과 비선형 변환을 활용함으로써 델타 방법은 폐쇄형 분산 추정치를 제공하며, 이는 단순히 병렬 처리가 가능하여 시뮬레이션 기반 방법을 능가하고 결측 데이터에 대해 강건하게 대응한다.

ABSTRACT

During the last decade, the information technology industry has adopted a data-driven culture, relying on online metrics to measure and monitor business performance. Under the setting of big data, the majority of such metrics approximately follow normal distributions, opening up potential opportunities to model them directly without extra model assumptions and solve big data problems via closed-form formulas using distributed algorithms at a fraction of the cost of simulation-based procedures like bootstrap. However, certain attributes of the metrics, such as their corresponding data generating processes and aggregation levels, pose numerous challenges for constructing trustworthy estimation and inference procedures. Motivated by four real-life examples in metric development and analytics for large-scale A/B testing, we provide a practical guide to applying the Delta method, one of the most important tools from the classic statistics literature, to address the aforementioned challenges. We emphasize the central role of the Delta method in metric analytics by highlighting both its classic and novel applications.

연구 동기 및 목표

• 빅데이터 환경에서 복잡한 온라인 메트릭에 대한 신뢰할 수 있는 추정과 추론 문제를 해결한다.
• 부트스트랩과 같은 시뮬레이션 기반 방법의 한계를 극복하여 폐쇄형, 분산 계산이 가능한 방법을 제공한다.
• 비율 메트릭, 분위수 메트릭, 군집화된 랜덤화, 결측 데이터를 포함한 내부 주체 연구에서의 통합 프레임워크를 제공한다.
• 비독립 동일분포(Non-i.i.d.) 데이터 구조를 가진 실제 A/B 테스트 시나리오에서 델타 방법의 유연성과 강건성을 입증한다.
• 치료 효과와 관련된 결측 패턴이 존재할 경우 혼합 효과 모델의 한계를 드러내며, 델타 방법을 더 우수한 대안으로 위치시킨다.

제안 방법

• 첫 번째 차수 테일러 전개를 사용하여 표본 평균의 渐近 정규성을 비선형 변환된 메트릭으로 확장함으로써 델타 방법을 적용한다.
• 델타 방법을 사용하여 비율 메트릭의 폐쇄형 분산 추정치를 유도함으로써 시뮬레이션을 피하고 분산 계산을 가능하게 한다.
• 외부 신뢰구간과 델타 방법을 조합하여 분위수 기반 메트릭의 분산 추정을 강건하고 비모수적으로 수행한다.
• 결측 데이터를 처리하기 위한 새로운 기법으로 데이터 증강을 제안하여 통계적 효율성을 유지한다.
• 완전한 집단과 불완전한 집단의 추정치 간의 다리를 놓는 가중 평균 추정치를 수립함으로써 고정 효과 가정 하에 혼합 효과 모델과 동치임을 보여준다.
• 모든 방법을 분산 시스템(예: Apache Spark)에 구현하여 확장성과 낮은 계산 비용을 확보한다.

실험 결과

연구 질문

• RQ1 대규모 A/B 테스트에서 비율 및 분위수와 같은 복잡한 메트릭에 대해 델타 방법을 어떻게 활용하여 효율적이고 폐쇄형 추론을 가능하게 할 수 있는가?
• RQ2 분산 빅데이터 시스템에서 부트스트랩과 같은 시뮬레이션 기반 방법에 비해 델타 방법의 장점은 무엇인가?
• RQ3 결측 메커니즘이 알려지지 않았거나 치료 효과와 관련되어 있을 경우, 델타 방법은 내부 주체 연구에서 결측 데이터를 어떻게 다루는가?
• RQ4 치료 효과가 결측 데이터 패턴에 따라 변할 경우, 델타 방법이 혼합 효과 모델을 어떻게 능가하는가?
• RQ5 clustered randomization 및 종단적 설계를 포함한 광범위한 메트릭 분석 문제에 델타 방법을 체계적으로 적용할 수 있는가?

주요 결과

• 델타 방법은 비율 메트릭에 대해 폐쇄형, 분산 분산 추정을 가능하게 하여 시뮬레이션 없이도 높은 정확도를 달성한다.
• 분위수 메트릭의 경우 델타 방법과 외부 신뢰구간을 조합함으로써 전통적인 부트스트랩 방법보다 더 강건하고 신뢰할 수 있는 분산 추정치를 얻을 수 있다.
• 결측 데이터가 있는 내부 주체 연구에서 데이터 증강을 적용한 델타 방법은 혼합 효과 모델이 치료 효과와 관련된 결측과 상관될 경우 편향을 유발할 수 있는 것과는 달리 일관되고 효율적인 추정치를 제공한다.
• 델타 방법을 통해 유도된 가중 평균 추정치는 치료 효과가 그룹 간에 고정되어 있을 경우 혼합 효과 모델과 매우 유사하며, 이는 이론적 타당성을 입증한다.
• 정보적 결측이 존재하는 상황에서 델타 방법의 분산 추정치는 혼합 효과 모델의 추정치보다 진짜 표본 분산에 더 가깝게 유지된다.
• 모든 제안된 방법은 단순히 병렬 처리가 가능하며, Apache Spark와 같은 분산 시스템에 효율적으로 구현되어 대규모 실시간 메트릭 분석을 가능하게 한다.