[논문 리뷰] Optimal Semi-supervised Estimation and Inference for High-dimensional Linear Regression

Siyi Deng, Yang Ning외 2명|arXiv (Cornell University)|2020. 11. 28.

Statistical Methods and Inference참고 문헌 47인용 수 4

한 줄 요약

이 논문은 레이블이 있는 데이터와 레이블이 없는 데이터를 모두 활용하여, 감독 학습 방법보다 더 빠른 수렴 속도를 달성하는 고차원 선형 회귀를 위한 새로운 준감독 추정기(_estimator)를 제안한다. 이는 효율적인 추정기와 안전한 추정기를 도입하여, 모형 오설정이나 조건부 평균 함수의 일致한 추정이 불가능한 상황에서도 감독 학습 방법보다 개선된 효율성 또는 보장된 성능을 확보한다.

ABSTRACT

There are many scenarios such as the electronic health records where the outcome is much more difficult to collect than the covariates. In this paper, we consider the linear regression problem with such a data structure under the high dimensionality. Our goal is to investigate when and how the unlabeled data can be exploited to improve the estimation and inference of the regression parameters in linear models, especially in light of the fact that such linear models may be misspecified in data analysis. In particular, we address the following two important questions. (1) Can we use the labeled data as well as the unlabeled data to construct a semi-supervised estimator such that its convergence rate is faster than the supervised estimators? (2) Can we construct confidence intervals or hypothesis tests that are guaranteed to be more efficient or powerful than the supervised estimators? To address the first question, we establish the minimax lower bound for parameter estimation in the semi-supervised setting. We show that the upper bound from the supervised estimators that only use the labeled data cannot attain this lower bound. We close this gap by proposing a new semi-supervised estimator which attains the lower bound. To address the second question, based on our proposed semi-supervised estimator, we propose two additional estimators for semi-supervised inference, the efficient estimator and the safe estimator. The former is fully efficient if the unknown conditional mean function is estimated consistently, but may not be more efficient than the supervised approach otherwise. The latter usually does not aim to provide fully efficient inference, but is guaranteed to be no worse than the supervised approach, no matter whether the linear model is correctly specified or the conditional mean function is consistently estimated.

연구 동기 및 목표

• 결과 변수(레이블)를 확보하는 데 비용이 많이 들고, 공변량은 상대적으로 쉽게 확보될 수 있는 고차원 선형 회귀 문제에 도전한다.
• 레이블이 없는 데이터가 감독 학습 방법으로 달성 가능한 것보다 더 빠른 수렴 속도를 확보할 수 있는지 조사한다.
• 감독 학습 방법보다 더 효율적이거나 강력한 추론 절차—신뢰구간 및 가설 검정—를 개발한다.

제안 방법

• 준감독 설정에서 매개변수 추정의 최소최대 하한선을 설정하여 이론적 성능의 한계를 정의한다.
• 이 최소최대 하한선을 달성하는 새로운 준감독 추정기를 제안함으로써, 이론적 최적성과 감독 학습 방법의 성능 간 격차를 해소한다.
• 조건부 평균 함수가 일致하게 추정될 경우 최고의 효율성을 달성하는 효율적 추정기를 도입하지만, 그렇지 않으면 향상되지 않을 수 있다.
• 모형의 정확성이나 추정 일致성 여부에 관계없이 감독 학습 방법보다 성능이 열 劣하지 않도록 보장하는 안전한 추정기를 개발한다.
• 제안된 추정기를 기반으로 하여, 더 높은 효율성 또는 강건성을 확보한 신뢰구간 및 가설 검정을 구성한다.

실험 결과

연구 질문

• RQ1 고차원 선형 회귀에서 레이블이 없는 데이터를 활용하여 감독 학습 방법보다 더 빠른 수렴 속도를 달성하는 준감독 추정기를 구성할 수 있는가?
• RQ2 준감독 추론 기반의 신뢰구간이나 가설 검정을 감독 학습 방법보다 더 효율적이거나 강력하게 보장할 수 있는가?
• RQ3 모형 오설정이나 조건부 평균 함수의 일치하지 않는 추정이 준감독 추론 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 준감독 추정기는 매개변수 추정에서 최소최대 하한선을 달성하여, 준감독 설정에서 최적임을 입증한다.
• 감독 학습 방법은 레이블 데이터만을 사용하므로 이 최소최대 하한선을 달성할 수 없으며, 이는 기본적인 성능 격차를 보여준다.
• 효율적 추정기는 조건부 평균 함수가 일치하게 추정될 경우 최고의 효율성을 달성하지만, 그렇지 않으면 감독 학습 방법보다 뛰어나지 않을 수 있다.
• 안전한 추정기는 모형의 정확성이나 추정 일치성 여부에 관계없이 감독 학습 방법보다 추론 효율성이 열 劣하지 않음을 보장한다.
• 제안된 추론 방법은 모형 오설정 하에서도 이론적으로 향상되거나 적어도 동등한 성능을 보장함을 보여준다.