[논문 리뷰] Semi-Supervised Quantile Estimation: Robust and Efficient Inference in High Dimensional Settings

Abhishek Chakrabortty, Guorong Dai외 1명|arXiv (Cornell University)|2022. 01. 25.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 고차원 설정에서 반응 분위수의 추정 정확도와 추론 효율성을 향상시키기 위해 대규모 비라벨 데이터셋을 활용하는 반감독형 분위수 추정 방법을 제안한다. 모델에 종속되지 않는 보간법과 보정 단계, 일단 연장(update)를 조합함으로써, 보간 모델이 잘못 지정된 경우에도 루트-n 일致성과 점근 정규성을 유지하면서, 모델이 올바르게 지정된 경우 반모수 효율성을 달성한다.

ABSTRACT

We consider quantile estimation in a semi-supervised setting, characterized by two available data sets: (i) a small or moderate sized labeled data set containing observations for a response and a set of possibly high dimensional covariates, and (ii) a much larger unlabeled data set where only the covariates are observed. We propose a family of semi-supervised estimators for the response quantile(s) based on the two data sets, to improve the estimation accuracy compared to the supervised estimator, i.e., the sample quantile from the labeled data. These estimators use a flexible imputation strategy applied to the estimating equation along with a debiasing step that allows for full robustness against misspecification of the imputation model. Further, a one-step update strategy is adopted to enable easy implementation of our method and handle the complexity from the non-linear nature of the quantile estimating equation. Under mild assumptions, our estimators are fully robust to the choice of the nuisance imputation model, in the sense of always maintaining root-n consistency and asymptotic normality, while having improved efficiency relative to the supervised estimator. They also attain semi-parametric optimality if the relation between the response and the covariates is correctly specified via the imputation model. As an illustration of estimating the nuisance imputation function, we consider kernel smoothing type estimators on lower dimensional and possibly estimated transformations of the high dimensional covariates, and we establish novel results on their uniform convergence rates in high dimensions, involving responses indexed by a function class and usage of dimension reduction techniques. These results may be of independent interest. Numerical results on both simulated and real data confirm our semi-supervised approach's improved performance, in terms of both estimation and inference.

연구 동기 및 목표

• 현대 생물의학 및 관찰 연구에서 라벨이 부여된 데이터가 제한되어 있어 고차원 분위수 추정에서 통계적 검정력이 낮아지는 문제를 해결하기 위해.
• 풍부한 비라벨 공변량을 활용하여 추정 효율성과 강건성을 향상시키는 반감독형 추론 프레임워크를 개발하기 위해.
• 보간 모델이 잘못 지정된 경우에도 분위수 추정량의 루트-n 일치성과 점근 정규성을 보장하기 위해.
• 모델가 올바르게 지정된 경우 반모수 효율성을 달성하여 감독 추정량보다 정밀도를 높이기 위해.
• 누이즈 기능 추정에 적용 가능한 차원 감소를 통한 고차원에서의 커널 스무딩에 대한 새로운 균일 수렴 속도를 확립하기 위해.

제안 방법

• 유연한 보간 전략을 분위수 추정 방정식에 적용한 반감독형 추정량의 가족을 제안한다.
• 보간 모델이 잘못 지정된 경우에도 강건성을 확보하기 위해 보정 단계를 통합함으로써, 루트-n 일치성과 점근 정규성을 유지한다.
• 비선형 분위수 추정 방정식을 처리하고 구현을 단순화하기 위해 일단 연장(update)을 활용한다.
• 누이즈 보간 함수를 추정하기 위해 고차원 공변량의 저차원 투영에 커널 스무딩을 적용한다.
• 커널 스무딩 이전에 효과적 차원을 감소시키기 위해 차원 감소 기법(예: 선형 회귀, 조각별 역회귀)을 적용한다.
• 함수 클래스로 인덱싱된 반응에 대해 고차원 설정에서의 커널 스무딩 추정량에 대한 새로운 균일 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 라벨이 제한된 고차원 설정에서 비라벨 데이터를 활용하여 분위수 추정 정확도를 향상시킬 수 있는가?
• RQ2 반감독형 분위수 추정에서 보간 모델의 잘못 지정에 대한 강건성을 어떻게 확보할 수 있는가?
• RQ3 모델이 잘못 지정된 경우 반감독형 분위수 추정량의 점근적 행동은 어떠한가?
• RQ4 모델가 올바르게 지정된 경우 분위수 추정에서 반모수 효율성을 달성할 수 있는가?
• RQ5 차원 감소된 고차원 공변량에 적용된 커널 스무딩 추정량의 균일 수렴 속도는 무엇인가?

주요 결과

• 제안된 추정량은 어떤 보간 모델이라도 루트-n 일치성과 점근 정규성을 유지하여 모델 잘못 지정에 대한 강건성을 확보한다.
• 감독 샘플 분위수 대비 효율성이 향상되었으며, 시뮬레이션에서 최대 30%의 상대 효율성 향상을 기록했다.
• 보간 모델이 반응의 조건부 평균을 정확히 지정할 경우 반모수 효율성이 달성된다.
• 차원 감소된 공변량에 대한 커널 스무딩은 고차원 입력에 대해 유리하게 스케일링되는 균일 수렴 속도를 달성한다.
• 수치 결과는 반감독 접근법이 감독 방법보다 더 정확한 분위수 추정과 더 나은 95% 신뢰구간의 커버리지 성능을 보여준다.
• 실제 데이터 분석에서 이 방법은 고차원 공변량을 가진 대규모 건강 설문 조사 데이터셋에서 향상된 추론 성능을 보였다.