[논문 리뷰] Semi-supervised Inference: General Theory and Estimation of Means

Anru R. Zhang, Lawrence D. Brown외 1명|arXiv (Cornell University)|2016. 06. 23.

Statistical Methods and Bayesian Inference참고 문헌 19인용 수 8

한 줄 요약

이 논문은 라벨이 부여된 반응과 라벨이 없는 공변량을 모두 활용하여 모집단 평균을 추정하기 위한 준감독 추론 프레임워크를 제안한다. 이는 공변량 분포를 활용하여 일반 표본 평균보다 효율성을 높이는 최소제곱 기반 추정량을 도입하며, 중간 크기의 표본에서도 점점 줄어드는 점근적 개선을 달성하고, 최소한의 모델링 가정 하에 너비가 줄어든 유효한 신뢰구간을 확립한다.

ABSTRACT

We propose a general semi-supervised inference framework focused on the estimation of the population mean. As usual in semi-supervised settings, there exists an unlabeled sample of covariate vectors and a labeled sample consisting of covariate vectors along with real-valued responses ("labels"). Otherwise, the formulation is "assumption-lean" in that no major conditions are imposed on the statistical or functional form of the data. We consider both the ideal semi-supervised setting where infinitely many unlabeled samples are available, as well as the ordinary semi-supervised setting in which only a finite number of unlabeled samples is available. Estimators are proposed along with corresponding confidence intervals for the population mean. Theoretical analysis on both the asymptotic distribution and $\ell_2$-risk for the proposed procedures are given. Surprisingly, the proposed estimators, based on a simple form of the least squares method, outperform the ordinary sample mean. The simple, transparent form of the estimator lends confidence to the perception that its asymptotic improvement over the ordinary sample mean also nearly holds even for moderate size samples. The method is further extended to a nonparametric setting, in which the oracle rate can be achieved asymptotically. The proposed estimators are further illustrated by simulation studies and a real data example involving estimation of the homeless population.

연구 동기 및 목표

• 강한 파rametric 가정 없이 모집단 평균을 추정하기 위한 일반적인 준감독 추론 프레임워크를 개발하기 위해.
• 평균 추정에 라벨이 없는 공변량 데이터를 통합하여 추정 효율성을 향상시키기 위해.
• 이deal(무한한 라벨이 없는 데이터) 및 일반(유한한 라벨이 없는 데이터) 설정 모두에서 제안된 추정량의 점근적 분포와 신뢰구간을 유도하기 위해.
• 제안된 추정량이 $\ell_2$-위험과 점근적 분산 측면에서 일반 표본 평균보다 우수함을 입증하기 위해.
• 비모수 설정에서 점근적으로 오라클 속도를 달성할 수 있도록 방법을 확장하기 위해.

제안 방법

• 모수 $\mu = \mathbb{E}X$ 가 알려져 있다고 가정할 때, $\hat{\theta} = \bar{\mathbf{Y}} - \hat{\beta}_{(2)}^\top(\bar{\mathbf{X}} - \mu)$ 형태의 이상적 준감독 추정량을 제안한다.
• 유한한 라벨이 없는 경우, 라벨이 있는 및 없는 $X$ 의 합동 표본 평균인 $\hat{\mu}$ 를 사용하여 $\hat{\theta} = \bar{\mathbf{Y}} - \hat{\beta}_{(2)}^\top(\bar{\mathbf{X}} - \hat{\mu})$ 형태의 추정량을 구성한다.
• 공변량 $X$ 와 반응 $Y$ 간의 관계를 모델링하기 위해 $\hat{\beta}_{(2)}$ 의 최소제곱 추정을 사용하며, $\mathbb{E}(Y|X)$ 의 선형성을 가정하지 않는다.
• 표본 크기 $n$ 과 공변량 차원 $p$ 가 $p = o(n^{1/2})$ 를 만족할 때, 추정량의 점근적 분포와 $\ell_2$-위험 상한을 도출한다.
• 행렬 역행렬 전개와 농도 불등식을 사용하여 추정량의 편향과 분산 성분을 분석한다.
• 표본 평균 기반의 것보다 더 짧은 길이를 가지는 점근적으로 타당한 신뢰구간을 구성한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 공변량 데이터를 사용하여 준감독 설정에서 평균 추정의 효율성을 향상시킬 수 있는가?
• RQ2 제안된 추정량이 점근적 분산과 $\ell_2$-위험 측면에서 일반 표본 평균과 비교하여 어떻게 다른가?
• RQ3 이deal 및 유한한 라벨이 없는 표본 설정 모두에서 추정량의 이론적 성질은 무엇인가?
• RQ4 비모수 설정에서 이 방법이 비모수 오라클 속도를 달성할 수 있는가?
• RQ5 표본 평균 기반의 것보다 더 짧은 길이를 가지는 유효한 신뢰구간을 구성할 수 있는가?

주요 결과

• 제안된 준감독 추정량은 $\mathbb{E}(Y|X)$ 의 선형성을 가정하지 않더라도 일반 표본 평균보다 점근적 분산이 엄격히 작다.
• 추정량의 $\ell_2$-위험은 표본 평균보다 엄격히 작으며, 이는 추정 효율성 향상을 보여준다.
• 라벨이 없는 데이터의 분포 $P_X$ 가 알려진 이상 설정에서는, 추정량이 더 짧은 신뢰구간을 가능하게 하는 점근적 분포를 갖는다.
• 유한한 라벨이 없는 경우, 추정량은 여전히 점근적으로 타당하며 효율성이 유지되며, $p = o(n^{1/2})$ 조건 하에 이론적 보장이 있다.
• 비모수 회귀 설정에서는 이 방법이 비모수 오라클 속도를 점근적으로 달성하며, 알려지지 않은 매끄러움 정도에 최적으로 적응함을 나타낸다.
• 시뮬레이션 연구와 홈리스 인구 추정에 대한 실데이터 예제를 통해 표본 평균보다 방법의 실용적 우수성이 확인된다.