[論文レビュー] Semi-supervised Inference: General Theory and Estimation of Means

Anru R. Zhang, Lawrence D. Brown+1 more|arXiv (Cornell University)|Jun 23, 2016

Statistical Methods and Bayesian Inference参考文献 19被引用数 8

ひとこと要約

本稿は、ラベル付き応答とラベルなし共変量を併用して母平均を推定するための半教師付き推論フレームワークを提案する。共変量分布を活用する最小二乗に基づく推定量を導入し、通常の標本平均よりも効率性が向上し、中程度の標本サイズでも漸近的改善が達成される。また、最小限のモデリング仮定のもとで幅の短い有効な信頼区間を確立する。

ABSTRACT

We propose a general semi-supervised inference framework focused on the estimation of the population mean. As usual in semi-supervised settings, there exists an unlabeled sample of covariate vectors and a labeled sample consisting of covariate vectors along with real-valued responses ("labels"). Otherwise, the formulation is "assumption-lean" in that no major conditions are imposed on the statistical or functional form of the data. We consider both the ideal semi-supervised setting where infinitely many unlabeled samples are available, as well as the ordinary semi-supervised setting in which only a finite number of unlabeled samples is available. Estimators are proposed along with corresponding confidence intervals for the population mean. Theoretical analysis on both the asymptotic distribution and $\ell_2$-risk for the proposed procedures are given. Surprisingly, the proposed estimators, based on a simple form of the least squares method, outperform the ordinary sample mean. The simple, transparent form of the estimator lends confidence to the perception that its asymptotic improvement over the ordinary sample mean also nearly holds even for moderate size samples. The method is further extended to a nonparametric setting, in which the oracle rate can be achieved asymptotically. The proposed estimators are further illustrated by simulation studies and a real data example involving estimation of the homeless population.

研究の動機と目的

• 強いパラメトリック仮定を必要としない一般化された半教師付き推論フレームワークを構築すること。
• 共変量データをラベルなしで組み込むことで、平均推定の効率性を向上させること。
• 無限のラベルなしデータ（理想状態）と有限のラベルなしデータ（通常状態）の両設定において、提案された推定量の漸近的分布と信頼区間を導出すること。
• 提案された推定量が、$\ell_2$-リスクおよび漸近的分散の観点で、通常の標本平均を上回ることを示すこと。
• 非パラメトリック設定において、漸近的にオラクルレートに達成できることを拡張すること。

提案手法

• 共変量分布 $P_X$ が既知であると仮定し、理想状態の半教師付き推定量 $\hat{\theta} = \bar{\mathbf{Y}} - \hat{\beta}_{(2)}^\top(\bar{\mathbf{X}} - \mu)$ を提案する。ここで $\mu = \mathbb{E}X$ である。
• 有限のラベルなしデータの場合、ラベル付きおよびラベルなし $X$ のプールド標本平均 $\hat{\mu}$ を用いて、推定量を $\hat{\theta} = \bar{\mathbf{Y}} - \hat{\beta}_{(2)}^\top(\bar{\mathbf{X}} - \hat{\mu})$ に修正する。
• 線形性を仮定しないまま、$Y$ と $X$ の関係をモデル化するため、最小二乗推定量 $\hat{\beta}_{(2)}$ を用いる。
• 標本サイズ $n$ に対して次元 $p = o(n^{1/2})$ のもとで、推定量の漸近的分布と $\ell_2$-リスクの上限を導出する。
• 行列の逆行列展開と集中不等式を用いて、推定量のバイアスおよび分散成分を分析する。
• 通常の標本平均に基づくものより幅の短い、漸近的に有効な信頼区間を構築する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし共変量データを用いて、半教師付き設定における平均推定の効率性を向上させることができるか？
• RQ2 提案された推定量は、漸近的分散および $\ell_2$-リスクの観点で、通常の標本平均と比較してどのように異なるか？
• RQ3 理想状態（無限のラベルなしデータ）と有限のラベルなし標本の両設定下での推定量の理論的性質は何か？
• RQ4 非パラメトリック設定において、この手法が非パラメトリックオラクルレートに達成できるか？
• RQ5 通常の標本平均に基づくものより短い有効な信頼区間を構築できるか？

主な発見

• 線形性 $\mathbb{E}(Y|X)$ を仮定しない状態でも、提案された半教師付き推定量は、通常の標本平均よりも漸近的分散が厳密に小さくなる。
• 推定量の $\ell_2$-リスクは、標本平均のそれよりも厳密に小さく、推定の効率性の向上が示された。
• ラベルなし分布 $P_X$ が既知の理想状態では、推定量は短い信頼区間が得られるような漸近的分布に収束する。
• 有限のラベルなしデータの場合でも、推定量は漸近的に有効であり、$p = o(n^{1/2})$ の仮定のもとで理論的保証が得られる。
• 非パラメトリック回帰設定において、この手法は非パラメトリックオラクルレートに漸近的に達成可能であり、未知の滑らかさに最適に適応することが示された。
• シミュレーションとホームレス人口推定の実データ例を通じて、標本平均よりも本手法の実用的優位性が確認された。