[논문 리뷰] Accurate Inference for Adaptive Linear Models

Yash Deshpande, Lester Mackey외 2명|arXiv (Cornell University)|2017. 12. 18.

Advanced Bandit Algorithms Research참고 문헌 49인용 수 5

한 줄 요약

이 논문은 순차적으로 종속된 데이터 수집으로 인해 발생하는 적응형 선형 회귀 추정기의 편향을 보정하기 위해 새로운 $\boldsymbol{W}$-분산 감소 방법을 제안한다. 단순한 정책 정보만을 사용하여 추정기의 편향을 분산으로 전환함으로써, 점점 커지는 정규성 추론이 가능해지고, 다중 손실 기반 및 자기상관 시간 시리즈 샘플링 조건에서도 정확한 신뢰구간을 구성할 수 있다. 이는 표준 OLS 및 농도 기반 방법보다 커버리지와 폭 측면에서 뛰어나다.

ABSTRACT

Estimators computed from adaptively collected data do not behave like their non-adaptive brethren. Rather, the sequential dependence of the collection policy can lead to severe distributional biases that persist even in the infinite data limit. We develop a general method -- $\mathbf{W}$-decorrelation -- for transforming the bias of adaptive linear regression estimators into variance. The method uses only coarse-grained information about the data collection policy and does not need access to propensity scores or exact knowledge of the policy. We bound the finite-sample bias and variance of the $\mathbf{W}$-estimator and develop asymptotically correct confidence intervals based on a novel martingale central limit theorem. We then demonstrate the empirical benefits of the generic $\mathbf{W}$-decorrelation procedure in two different adaptive data settings: the multi-armed bandit and the autoregressive time series.

연구 동기 및 목표

• 데이터 수집 정책이 순차적 종속성을 유도하는 적응형 선형 모델에서 편향된 추론 문제를 해결하기 위해.
• 데이터 수집 정책의 세부 정보가 필요 없이 추정기의 편향을 분산으로 전환할 수 있는 일반적인 방법을 개발하기 위해.
• 새로운 마틴게일 중심극한정리에 기반하여 적응형 샘플링 하에서 매개변수 추정치에 대해 점점 커지는 유효한 신뢰구간을 수립하기 위해.
• 두 가지 적응형 설정인 다중 손실 기반 및 자기상관 시간 시리즈에서 방법의 실증적 검증을 위해.
• 제안된 $\boldsymbol{W}$-추정기가 농도 기반 방법보다 더 좁은 간격을 제공하면서 명목 커버리지 수준을 달성함을 보여주기 위해.

제안 방법

• 데이터 수집 정책에서 유도된 가중치 행렬를 사용하여 원래 추정기를 편향과 분산 성분으로 분해하는 $\boldsymbol{W}$-분산 감소 추정기를 도입한다.
• 모멘트 안정성과 약한 탐색 조건 하에서 $\boldsymbol{W}$-추정기의 점점 커지는 정규성을 보장하기 위해 새로운 마틴게일 중심극한정리를 활용한다.
• 정책의 정확한 동역학이나 성향 점수에 대한 액세스 없이도, 근본적으로 조잡한 정보만으로도 광범위한 적용 가능성을 확보한다.
• 편향과 분산 간의 트레이드오프를 제어하기 위해 조정 파rameter $\boldsymbol{\nu}$를 적용하며, 유한 표본 성능에 대한 이론적 경계를 도출한다.
• 점점 커지는 정규성에 기반한 $\boldsymbol{W}$-추정기의 신뢰구간을 유도하여, 약한 규칙성 조건 하에서도 정확한 커버리지를 보장한다.
• 다중 손실 기반 및 AR(2) 시간 시리즈 설정에서 몬테카를로 시뮬레이션을 통해 방법을 검증하며, OLS 및 농도 기반 방법과의 커버리지와 간격 폭을 비교한다.

실험 결과

연구 질문

• RQ1 표준 추정기에서 심각한 분포 편향이 발생하는 상황에서, 적응형으로 수집된 데이터에 대해 선형 모델 매개변수에 대한 신뢰구간을 구성할 수 있는가?
• RQ2 단순한 정책 정보만으로도 적응형 선형 회귀 추정기의 편향을 분산으로 얼마나 효과적으로 전환할 수 있는가?
• RQ3 $\boldsymbol{W}$-분산 감소 방법이 다중 손실 기반 및 시간 시리즈와 같은 설정에서 점점 커지는 정규성과 정확한 경험적 커버리지를 달성하는가?
• RQ4 $\boldsymbol{W}$-추정기에서 유도된 신뢰구간은 표준 OLS 및 농도 부등식 기반 방법의 결과와 비교해 보았을 때 폭과 커버리지 측면에서 어떻게 다른가?
• RQ5 UCB, ECB 및 톰슨 샘플링 정책과 같은 약한 탐색 조건 하에서도, 이 방법이 정확한 추론을 유지할 수 있는가?

주요 결과

• 다중 손실 기반 및 AR(2) 시간 시리즈 설정 모두에서 $\boldsymbol{W}$-분산 감소 추정기는 명목 커버리지 수준에 매우 가까운 경험적 커버리지를 달성하는 반면, 표준 OLS는 체계적으로 커버리지가 낮아진다.
• 다중 손실 기반 설정에서 $\boldsymbol{W}$-추정기는 표준 OLS 간격보다 일관되게 더 높은 커버리지를 제공하며, 가우시안 기반 추론을 왜곡시키는 음의 편향을 피한다.
• 농도 기반 OLS 간격은 거의 100%의 커버리지를 달성하지만 매우 보수적인 편이며, $\boldsymbol{W}$-분산 감소 간격은 훨씬 좁고 보수적이지 않으며, 특히 중간 수준의 신뢰수준에서 두드러진다.
• AR(2) 시간 시리즈에서는 $\boldsymbol{W}$-추정기의 오차 분포가 거의 가우시안에 가까운 반면, OLS 오차는 비대칭을 띠어 점점 커지는 행동이 향상됨을 확인한다.
• UCB, ECB 및 톰슨 샘플링 정책에 대해 $\boldsymbol{W}$-분산 감소 간격은 농도 기반 간격보다 항상 더 좁고, 동일하거나 더 나은 커버리지를 제공한다.
• 다중 손실 기반 정책에서 평균 탐색 조건을 포함한 약한 탐색 조건 하에서도 이 방법은 거의 최적의 편향 및 분산 제어를 달성하여 강건성을 입증한다.