[논문 리뷰] CAD: Debiasing the Lasso with inaccurate covariate model

Michael Celentano, Andrea Montanari|arXiv (Cornell University)|2021. 07. 29.

Statistical Methods and Inference참고 문헌 47인용 수 4

한 줄 요약

이 논문은 공변량 모델이 잘못 추정될 때 고차원 선형 회귀에서 약간 편향이 없는 추정량을 구성하기 위한 새로운 방법인 상관관계 보정 편향 제거 로지스틱 회귀(Correlation Adjusted Debiased Lasso, CAD)를 제안한다. CAD는 정밀행렬과 회귀 계수의 추정 오차 간 상관관계로 인한 편향을 보정하여, 공변량이 함께 정규분포를 이룰 때 반감성 학습 설정에서 거의 완벽한 편향 상쇄를 달성한다. 이는 부수적 공분산이 잘못 추정되더라도 가능하다.

ABSTRACT

We consider the problem of estimating a low-dimensional parameter in high-dimensional linear regression. Constructing an approximately unbiased estimate of the parameter of interest is a crucial step towards performing statistical inference. Several authors suggest to orthogonalize both the variable of interest and the outcome with respect to the nuisance variables, and then regress the residual outcome with respect to the residual variable. This is possible if the covariance structure of the regressors is perfectly known, or is sufficiently structured that it can be estimated accurately from data (e.g., the precision matrix is sufficiently sparse). Here we consider a regime in which the covariate model can only be estimated inaccurately, and hence existing debiasing approaches are not guaranteed to work. When errors in estimating the covariate model are correlated with errors in estimating the linear model parameter, an incomplete elimination of the bias occurs. We propose the Correlation Adjusted Debiased Lasso (CAD), which nearly eliminates this bias in some cases, including cases in which the estimation errors are neither negligible nor orthogonal. We consider a setting in which some unlabeled samples might be available to the statistician alongside labeled ones (semi-supervised learning), and our guarantees hold under the assumption of jointly Gaussian covariates. The new debiased estimator is guaranteed to cancel the bias in two cases: (1) when the total number of samples (labeled and unlabeled) is larger than the number of parameters, or (2) when the covariance of the nuisance (but not the effect of the nuisance on the variable of interest) is known. Neither of these cases is treated by state-of-the-art methods.

연구 동기 및 목표

• 공변량 모델이 오차로 추정될 때 고차원 선형 회귀에서 저차원 매개변수에 대해 약간 편향이 없는 추정량을 구성하는 데 도전한다.
• 정밀행렬과 회귀 계수의 추정 오차가 상관관계가 있을 때 기존의 편향 제거 방법이 실패하는 문제를 해결한다.
• 부수적 공분산의 구조가 잘못 추정되더라도 편향 상쇄를 보장하는 방법을 개발한다.
• 반감성 학습 설정에서 라벨이 없는 데이터를 포함할 때 편향 제거에 대한 이론적 보장을 제공한다.
• 정밀행렬 추정이 정확하거나 흐린 조건이 요구되는 설정을 초월해 편향 제거 로지스틱 회귀 방법의 적용 범위를 확장한다.

제안 방법

• 정밀행렬의 추정 오차와 회귀 매개변수의 오차 간 공분산을 고려한 상관관계 보정 보정 항을 도입한다.
• 라벨이 있는 데이터와 라벨이 없는 데이터를 모두 활용하여 부수적 공분산 구조의 추정을 향상시킨다.
• 관심 있는 변수와 결과 변수를 부수적 변수에 대해 직교화한 후, 보정된 회귀 단계를 수행함으로써 추정량을 구성한다.
• 공동 정규분포 공변량을 가정하여 보정 항을 유도함으로써 편향 구조를 분석적으로 제어할 수 있다.
• 총 표본 크기(라벨이 있는 데이터 + 라벨이 없는 데이터)가 매개변수의 수를 초과하거나, 부수적 공분산이 알려져 있을 경우 편향 상쇄를 달성한다.
• 이론적 분석은 정규성 조건 하에서 고차원 점근적 분석과 농도 부등식에 기반한다.

실험 결과

연구 질문

• RQ1 정밀행렬의 추정이 잘못되었고, 그 오차가 회귀 계수의 오차와 상관관계가 있을 때에도 유효한 편향 제거 로지스틱 회귀 추정량을 구성할 수 있는가?
• RQ2 기존의 편향 제거 방법에서 상관관계가 있는 추정 오차로 인해 편향이 실패하는 조건은 무엇인가?
• RQ3 라벨이 없는 데이터를 포함한 반감성 학습이 모형 잘못 설정 상황에서 편향 제거 로지스틱 회귀 추정량의 강건성을 향상시킬 수 있는가?
• RQ4 부수적 공분산이 알려져 있지 않지만 오차로 추정될 경우, 고차원 회귀에서 거의 영 편향을 달성할 수 있는가?
• RQ5 총 표본 크기(라벨이 있는 데이터와 라벨이 없는 데이터의 합)가 매개변수의 수를 초과할 경우, 편향 제거 추정에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 상관관계 보정 편향 제거 로지스틱 회귀(Correlation Adjusted Debiased Lasso, CAD)는 정밀행렬과 회귀 계수의 추정 오차가 상관관계가 있을 때에도 고차원 선형 회귀에서 편향을 거의 제거한다.
• CAD는 총 표본 수(라벨이 있는 데이터와 라벨이 없는 데이터의 합)가 매개변수의 수를 초과할 경우 편향 상쇄를 달성한다. 이는 이전 방법이 다루지 못하는 영역이다.
• 부수적 공분산이 알려져 있지 않지만 오차로 추정되더라도, 총 표본 크기가 충분히 클 경우 CAD는 여전히 유효하다.
• 공동 정규분포 공변량을 가정할 경우 타당한 추론이 가능하며, 이는 편향 구조를 분석적으로 제어할 수 있게 한다.
• 고차원 점근적 조건 하에서 이론적 보장이 확립되어, CAD는 추정량의 점근 정규성을 달성함을 보여준다.
• 특히 반감성 학습 환경에서 정밀행렬 추정이 잘못되거나 상관관계가 있을 경우, CAD는 표준 편향 제거 로지스틱 회귀보다 뛰어난 성능을 보인다.