[논문 리뷰] Online Debiasing for Adaptively Collected High-dimensional Data.

Yash Deshpande, Adel Javanmard외 1명|arXiv (Cornell University)|2019. 11. 04.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 적응적으로 수집된 데이터를 가진 고차원 선형 회귀에서 정규화 유도 및 적응성 유도 편향을 동시에 보정하는 새로운 절차인 온라인 디비어징(online debiasing)을 소개한다. 진짜 모수의 스파arsity 조건이 $ o(√n}/\log p) $일 때, 최적 크기의 신뢰구간과 p값을 통해 타당한 추론을 가능하게 한다. 특히 배치형 및 시계열 데이터 설정에서 유용하다.

ABSTRACT

Adaptive collection of data is commonplace in applications throughout science and engineering. From the point of view of statistical inference however, adaptive data collection induces memory and correlation in the sample, and poses significant challenge. We consider the high-dimensional linear regression, where the sample is collected adaptively, and the sample size $n$ can be smaller than $p$, the number of covariates. In this setting, there are two distinct sources of bias: the first due to regularization imposed for consistent estimation, e.g. using the LASSO, and the second due to adaptivity in collecting the sample. We propose \emph{`online debiasing'}, a general procedure for estimators such as the LASSO, which addresses both sources of bias. In two concrete contexts $(i)$ batched data collection and $(ii)$ time series analysis, we demonstrate that online debiasing optimally debiases the LASSO estimate when the underlying parameter $ heta_0$ has sparsity of order $o(\sqrt{n}/\log p)$. In this regime, the debiased estimator can be used to compute $p$-values and confidence intervals of optimal size.

연구 동기 및 목표

• 고차원 선형 회귀에서 $ n < p $ 인 경우 정규화와 적응적 데이터 수집이 유도하는 이중 편향 문제를 해결하기 위해.
• 적응 샘플링 하에서 LASSO와 같은 추정량을 디비어징할 수 있는 일반적인 절차를 개발하기 위해.
• 고차원적이고 적응적으로 수집된 데이터 설정에서 p값과 신뢰구간을 포함한 타당한 통계적 추론을 가능하게 하기 위해.
• 두 가지 구체적 맥락인 배치형 데이터 수집 및 시계열 분석에서 디비어징 추정량의 최적성(optimality)을 입증하기 위해.

제안 방법

• 새로운 데이터가 도착함에 따라 실시간으로 LASSO 추정량을 보정하는 순차적 보정 방법으로 온라인 디비어징을 제안한다.
• 정규화와 적응적 샘플링이 유도하는 편향를 상쇄하기 위해 온라인 기울기 보정 방식을 사용한다.
• 두 가지 설정에서 방법을 적용한다: (i) 피드백 루프가 있는 배치형 데이터 수집, (ii) 적응적 샘플링이 적용된 시계열.
• 스파arsity 조건 하에서 LASSO의 편향를 渐近적으로 제거하는 디비어징 추정량을 유도한다.
• 적응적 데이터 수집이 유도하는 기억성과 상관성을 다루기 위해 마틴갈 기반 분석을 활용한다.
• 결과로 얻어진 추정량이 최적 분산을 가진 점근 정규분포를 따르며, 이로 인해 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 고차원 선형 회귀에서 $ n < p $ 인 경우, 정규화 유도 및 적응성 유도 편향를 동시에 보정할 수 있는가?
• RQ2 피드백 루프가 있는 배치형 데이터 수집 설정에서 온라인 디비어징은 어떻게 작동하는가?
• RQ3 적응적 샘플링이 적용된 시계열에서 온라인 디비어징은 타당한 추론(예: p값과 신뢰구간)을 가능하게 하는가?
• RQ4 편향 제거 추정량의 최적성(분산과 커버리지 측면에서)을 보장하는 스파arsity 조건은 무엇인가?
• RQ5 제시된 스파arsity 체제 하에서 온라인 디비어징 절차는 점근적으로 정규분포이면서 효율적인가?

주요 결과

• 온라인 디비어징은 고차원 선형 회귀에서 정규화 유도 및 적응성 유도 편향를 성공적으로 제거한다.
• 스파arsity 조건 $ \|\theta_0\|_0 = o(\sqrt{n}/\log p) $ 하에서 디비어징 추정량은 점근 정규분포를 따르며, 이로 인해 타당한 추론이 가능해진다.
• 배치형 데이터 및 시계열 설정 모두에서, 이 방법은 최적 크기의 신뢰구간과 p값을 생성한다.
• 적응적 샘플링이 유도하는 편향를 보정하면서도 LASSO의 통계적 효율성을 유지한다.
• 적응적 데이터 수집이 유도하는 기억성과 상관성에 대해 이 방법은 강건하다.
• 이론적 분석을 통해 디비어징 추정량이 올바른 점근 분산을 가지며, 이는 최적의 추론 성능를 보장한다.