[論文レビュー] Optimal Semi-supervised Estimation and Inference for High-dimensional Linear Regression

Siyi Deng, Yang Ning+2 more|arXiv (Cornell University)|Nov 28, 2020

Statistical Methods and Inference参考文献 47被引用数 4

ひとこと要約

本稿では、ラベル付きデータとラベルなしデータの両方を活用することで、教師あり推定器よりも高速な収束速度を達成する高次元線形回帰の新しい半教師あり推定器を提案する。効率的推定器と安全推定器を導入し、モデルの誤り指定や条件付き平均関数の不一致推定がある場合でも、教師あり手法よりも効率的または保証された性能を達成する。

ABSTRACT

There are many scenarios such as the electronic health records where the outcome is much more difficult to collect than the covariates. In this paper, we consider the linear regression problem with such a data structure under the high dimensionality. Our goal is to investigate when and how the unlabeled data can be exploited to improve the estimation and inference of the regression parameters in linear models, especially in light of the fact that such linear models may be misspecified in data analysis. In particular, we address the following two important questions. (1) Can we use the labeled data as well as the unlabeled data to construct a semi-supervised estimator such that its convergence rate is faster than the supervised estimators? (2) Can we construct confidence intervals or hypothesis tests that are guaranteed to be more efficient or powerful than the supervised estimators? To address the first question, we establish the minimax lower bound for parameter estimation in the semi-supervised setting. We show that the upper bound from the supervised estimators that only use the labeled data cannot attain this lower bound. We close this gap by proposing a new semi-supervised estimator which attains the lower bound. To address the second question, based on our proposed semi-supervised estimator, we propose two additional estimators for semi-supervised inference, the efficient estimator and the safe estimator. The former is fully efficient if the unknown conditional mean function is estimated consistently, but may not be more efficient than the supervised approach otherwise. The latter usually does not aim to provide fully efficient inference, but is guaranteed to be no worse than the supervised approach, no matter whether the linear model is correctly specified or the conditional mean function is consistently estimated.

研究の動機と目的

• 結果変数（ラベル）の収集が予測変数よりも高コストである高次元線形回帰の課題に対処すること。
• ラベルなしデータが、教師あり手法で達成可能な水準を超えて、パラメータ推定の収束速度を加速できるかどうかを調査すること。
• 教師あり手法の対応する手法よりも効率的または強力であることが保証された信頼区間および仮説検定の推論手順を開発すること。

提案手法

• 半教師あり設定におけるパラメータ推定のミニマックス下界を確立し、理論的性能の限界を定義する。
• このミニマックス下界に到達する新しい半教師あり推定器を提案し、理論的最適性と教師あり推定器の性能の間のギャップを埋める。
• 条件付き平均関数が一貫して推定される場合に限り完全な効率性を達成する効率的推定器を導入するが、そうでない場合には改善しない可能性がある。
• モデルの正しさや推定の一貫性にかかわらず、教師あり手法の性能を下回らないことを保証する安全推定器を開発する。
• 提案された推定器を基盤として、より高い効率性またはロバストネスを持つ信頼区間および仮説検定の構築を行う。

実験結果

リサーチクエスチョン

• RQ1 高次元線形回帰において、ラベルなしデータを用いて教師あり推定器よりも高速な収束速度を達成する半教師あり推定器を構築できるか？
• RQ2 半教師あり推論に基づく信頼区間または仮説検定を、教師あり手法のそれよりも効率的または強力であることが保証されるように構築できるか？
• RQ3 モデルの誤り指定や条件付き平均関数の不一致推定が、半教師あり推論手法の性能に与える影響は何か？

主な発見

• 提案された半教師あり推定器は、パラメータ推定におけるミニマックス下界に到達しており、半教師あり設定において最適であることを示している。
• 教師あり推定器はラベル付きデータのみを用いるため、このミニマックス下界に到達できないことが示され、根本的な性能差が明らかになった。
• 効率的推定器は、条件付き平均関数が一貫して推定される場合に限り完全な効率性を達成するが、そうでない場合には教師あり手法を上回らない可能性がある。
• 安全推定器は、モデルの正しさや推定の一貫性にかかわらず、推論効率の面で教師ありアプローチを下回らないことが保証されている。
• 提案された推論手法は、モデルの誤り指定がある場合でも、理論的に改善されたか、少なくとも同等の性能が保証されている。