[논문 리뷰] Why Adaptively Collected Data Have Negative Bias and How to Correct for It

Xinkun Nie, Xiaoying Tian외 2명|arXiv (Cornell University)|2017. 08. 07.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 23

한 줄 요약

이 논문은 임상 시험, A/B 테스트 및 밴딧 알고리즘에서 흔히 사용되는 적응형으로 수집된 데이터가 표본 평균의 부정적 편향을 야기하여 진정한 치료 효과를 체계적으로 과소평가한다는 것을 증명한다. 이 편향을 보정하기 위해 선택적 추론 기반의 새로운 조건부 최대우도추정기(cMLE)를 제안하며, 이는 데이터 분할 기법보다 편향과 평균제곱오차(MSE) 측면에서 뛰어나다.

ABSTRACT

From scientific experiments to online A/B testing, the previously observed data often affects how future experiments are performed, which in turn affects which data will be collected. Such adaptivity introduces complex correlations between the data and the collection procedure. In this paper, we prove that when the data collection procedure satisfies natural conditions, then sample means of the data have systematic \emph{negative} biases. As an example, consider an adaptive clinical trial where additional data points are more likely to be tested for treatments that show initial promise. Our surprising result implies that the average observed treatment effects would underestimate the true effects of each treatment. We quantitatively analyze the magnitude and behavior of this negative bias in a variety of settings. We also propose a novel debiasing algorithm based on selective inference techniques. In experiments, our method can effectively reduce bias and estimation error.

연구 동기 및 목표

• 적응형 데이터 수집이 자연적인 조건에서 표본 평균에 체계적인 부정적 편향을 초래한다는 것을 엄밀히 증명하는 것.
• 이러한 부정적 편향의 크기와 다양한 적응형 알고리즘 및 설정에서의 행동 양상을 정량화하는 것.
• 다시 데이터를 수집하지 않고도 이러한 편향을 보정할 수 있는 탈편향 방법을 개발하는 것.
• 기존의 데이터 분할 및 성향 스코어 매칭과 같은 접근법과 비교하여, cMLE 방법의 편향과 추정 오차 측면에서의 성능을 평가하는 것.
• 다양한 적응형 데이터 수집 절차에서 cMLE가 편향과 평균제곱오차(MSE)를 모두 줄이는 데 효과적인지 검증하는 것.

제안 방법

• 과거 관측치에 따라 분포 선택이 결정되는 선택 함수 $ s_t = f(\text{이전 시점까지의 역사}) $ 로 적응형 데이터 수집을 수식화한다.
• 부정적 편향이 발생하는 데 있어 핵심이 되는 두 가지 조건인 '이윤 추구(Exploit)'와 '부적절한 결과의 독립성(IIO)'를 정의한다.
• 선택적 추론 기법을 기반으로 한 랜덤화된 조건부 최대우도추정기(cMLE)를 제안하여 선택 편향을 보정한다.
• 선택 이벤트를 조건으로 삼아 진정한 평균을 추정함으로써, 적응형 데이터 수집에도 불구하고 유효한 추론을 보장한다.
• cMLE에서 노이즈 주입 메커니즘을 도입하여 추정기의 계산 가능성과 일致성을 확보한다.
• 다양한 알고리즘(Greedy, ε-Greedy, Thompson Sampling)에 대해 cMLE를 데이터 분할(보류된 데이터 세트 사용) 및 성향 스코어 매칭과 비교하여 편향과 MSE 측면에서 평가한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 적응형 데이터 수집이 표본 평균 추정기에서 부정적 편향을 초래하는가?
• RQ2 다양한 적응형 알고리즘(Greedy, ε-Greedy, Thompson Sampling)과 표본 크기에 따라 부정적 편향의 크기는 어떻게 변화하는가?
• RQ3 cMLE와 같은 선택적 추론 기반 방법이 새로운 데이터 수집 없이도 적응형으로 수집된 데이터의 편향을 효과적으로 줄일 수 있는가?
• RQ4 유한 표본 설정에서 cMLE는 데이터 분할 및 성향 스코어 매칭과 비교하여 편향과 평균제곱오차(MSE) 측면에서 어떻게 성능을 내는가?
• RQ5 데이터 수집 라운드 수 $ T $ 가 증가함에 따라 cMLE의 편향과 MSE는 어떤 渐진적 행동을 보이는가?

주요 결과

• 논문은 Exploit 및 IIO 조건 하에서, 적응형으로 수집된 데이터의 표본 평균이 체계적으로 부정적으로 편향되며, 진정한 치료 효과를 과소평가한다는 것을 증명한다.
• T = 1000 인 Greedy 알고리즘의 경우, cMLE는 K=5일 때 편향을 원래의 -0.21에서 1.0%로 줄여 체계적인 과소평가를 거의 제거한다.
• MSE 측면에서 cMLE는 K=5일 때 원래 MSE의 1.1%로 오차를 줄여 데이터 분할(94.9%)을 뛰어나며 뛰어난 효율성을 보인다.
• 데이터 분할은 편향이 없는 추정을 제공하지만, 유효 표본 크기를 절반으로 줄여 높은 분산을 유발하여 더 높은 MSE를 초래한다.
• 성향 스코어 매칭은 편향이 없지만 cMLE에 비해 몇 배나 높은 MSE를 보이며, 추정에 있어 덜 효과적이다.
• cMLE 방법은 渐진적으로 일致하므로, $ T \to \infty $ 가 되면 편향과 MSE가 모두 0으로 수렴하며 이는 이론적 타당성을 확인한다.