[논문 리뷰] Efficient Computation of Linear Model Treatment Effects in an Experimentation Platform

Jeffrey Wong, Randall A. Lewis외 1명|arXiv (Cornell University)|2019. 10. 03.

Advanced Causal Inference Techniques참고 문헌 15인용 수 9

한 줄 요약

이 논문은 온라인 실험 플랫폼에서 선형 모델 치료 효과(예: ATE, CATE, DTE)를 효율적으로 계산하기 위한 통합적이고 고성능의 계산 프레임워크를 제시한다. 반사적 스코링 프레임워크를 활용하고 데이터 압축 및 행렬 대수를 통해 OLS 추정을 최적화함으로써, 단일 머신을 사용해 넷플릭스 규모의 데이터에 대해 라이브 쿼리에 대해 밀리초 이내 응답 시간을 제공함으로써 분산 시스템이 필요 없도록 한다.

ABSTRACT

Linear models are a core component for statistical software that analyzes treatment effects. They are used in experimentation platforms where analysis is automated, as well as scientific studies where analysis is done locally and manually. However, the implementations of linear models for online platforms and for local analysis are often different due to differing demands in scalability. To improve leverage, we developed one library that powers both modes of analysis, consolidates many forms of treatment effects from linear models, and optimizes the computational performance of the software. The highly performant algorithms allow the library to run linear models at Netflix's scale and reply to live queries for treatment effects from an online service without using distributed systems in seconds. Wrapping these algorithms in a library that can be used interactively make large scale linear models accessible for both online platforms and scientists to use locally.

연구 동기 및 목표

• 오프라인 통계 분석과 실시간 온라인 실험 플랫폼 사이의 확장성 격차를 해소하기 위해.
• ATE, CATE, DTE와 같은 다양한 치료 효과 유형을 하나의 계산 프레임워크로 통합하여 일관되고 효율적인 분석을 가능하게 하기 위해.
• 생산 규모의 데이터에서 선형 모델 추론을 상호작용적이고 실시간으로 수행할 수 있도록 계산 성능을 최적화하기 위해.
• 단일 머신에서 고성능 OLS 계산을 가능하게 하여 분산 시스템 의존도를 제거하기 위해.
• 향후 진화하는 인과 추론 모델과 분산 추정 방법을 지원하는 미래 지향적이고 확장 가능한 라이브러리 구축을 위해.

제안 방법

• 잠재 결과 프레임워크 내에서 치료 효과를 반사적 스코링 문제로 공식화하여 ATE, CATE, DTE 계산을 통합하기 위해.
• 치료 지표, 공변량 및 상호작용 항을 포함한 치료 행렬 $ M^{\text{Treatment}} $ 를 사용한 일반 최소 제곱법(OLS)을 적용하여 이질적 효과를 모델링하기 위해.
• 저장소 및 계산 비용을 줄이면서도 정확한 치료 효과 추정치를 유지하기 위해 데이터 압축 기법을 적용하기 위해.
• ATE를 $ \widehat{ATE} = \frac{1}{n} \mathbf{1}_n^T \Delta M \hat{\beta} $ 로 유도하며, 여기서 $ \Delta M $ 는 치료와 대조 조건에서의 예측 결과 차이를 나타낸다.
• 효율적인 선형 대수와 이방성에 강건한 표준 오차(화이트 보정)를 사용해 행렬 연산과 분산 추정을 최적화하기 위해.
• 웹 서비스에서 저지연 라이브 쿼리와 함께 로컬 상호작용 분석을 모두 지원하는 라이브러리로 프레임워크를 구현하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 하면 대규모 실험 플랫폼에서 실시간 상호작용 분석을 지원할 수 있을 정도로 선형 모델의 치료 효과를 효율적으로 계산할 수 있는가?
• RQ2 다양한 실험 설계에서 ATE, CATE, DTE의 추정을 하나의 계산 프레임워크로 통합할 수 있는가?
• RQ3 분산 시스템 없이 넷플릭스 규모의 데이터에서 실시간 쿼리에 대해 밀리초 이내 응답 시간을 달성하기 위해 필요한 최적화는 무엇인가?
• RQ4 정확도 손실 없이 OLS 추정에 데이터 압축을 적용할 수 있는가?
• RQ5 통합 프레임워크 내에서 여러 분산 추정 방법(예: 이방성에 강건한 방법)을 지원할 경우 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 단일 머신을 사용해 넷플릭스 규모의 데이터에서 선형 모델 치료 효과를 밀리초 이내 응답 시간으로 실시간으로 계산할 수 있다.
• 사전 계산 없이도 라이브 쿼리에 즉각 응답함으로써 온라인 대시보드에서 사용자 경험을 향상시키는 상호작용 분석을 지원한다.
• 데이터 압축 기법을 통해 저장소를 크게 줄일 수 있으며, 정확한 치료 효과 추정치와 분산 계산을 유지한다.
• 반사적 스코링 프레임워크는 ATE, CATE, DTE 계산을 하나의 수학적 공식으로 통합하여 유지보수성과 확장성을 향상시킨다.
• 구현은 일반적이고 확장 가능하여 향후 분위수 회귀 및 강건한 분산 추정 등 다른 선형 모델을 지원할 수 있다.
• 생산 환경에서 분산 컴퓨팅 인프라가 필요 없어지면서 엔지니어링 오버헤드가 감소한다.