[論文レビュー] Semi-Supervised Linear Regression

David Azriel, Lawrence D. Brown+4 more|arXiv (Cornell University)|Dec 7, 2016

Statistical Methods and Inference参考文献 8被引用数 12

ひとこと要約

本稿では、条件付き期待値 E[Y|X] が正確に線形でない場合に、ラベルなしデータを活用することで標準最小二乗推定器（LSE）を改善する半教師あり線形回帰手法を提案する。この手法は、ラベルなしデータからの X の周辺分布を用いて、線形係数ベクトル β の漸近的に優れた推定器を構築し、モデルの不適合状況下でも一様に小さい分散および平均二乗誤差を達成する。シミュレーションおよび実データ応用において、有限標本でも一貫した性能向上が示された。

ABSTRACT

We study a regression problem where for some part of the data we observe both the <i>label</i> variable (<i>Y</i>) and the <i>predictors</i> (X), while for other part of the data only the predictors are given. Such a problem arises, for example, when observations of the label variable are costly and may require a skilled human agent. When the conditional expectation E[Y|X] is not exactly linear, one can consider the best linear approximation to the conditional expectation, which can be estimated consistently by the least-square estimates (LSE). The latter depends only on the labeled data. We suggest improved alternative estimates to the LSE that use also the unlabeled data. Our estimation method can be easily implemented and has simply described asymptotic properties. The new estimates asymptotically dominate the usual standard procedures under certain non-linearity condition of E[Y|X]; otherwise, they are asymptotically equivalent. The performance of the new estimator for small sample size is investigated in an extensive simulation study. A real data example of inferring homeless population is used to illustrate the new methodology.

研究の動機と目的

• 真の条件付き期待値 E[Y|X] が非線形であるが、線形近似が依然として望ましい状況において線形回帰推定を改善する手法を開発すること。
• ラベルなしデータ（観測可能なのは予測子 X のみ）を活用し、標準最小二乗法を上回る β の推定を向上させること。
• 線形モデルが不適合である場合に、新しい推定器が LSE を漸近的に上回ることを確立し、特に分散および予測誤差の観点から示すこと。
• シミュレーションおよび実世界のホームレス人口推定事例研究を通じて、実用的有用性を示すこと。
• 高次元および有限標本設定下で、ラベルなしデータが意味のある改善をもたらす条件を調査すること。

提案手法

• 本手法は、ラベルなしデータからの X の経験的分布を活用し、最良の線形予測子における β の推定を改善する新しい推定器 β̂_PI を構築する。
• ラベルなしサンプルにおける X の周辺分布がラベルありデータと代表的であると仮定することで、モデル不適合下でも改善された推論が可能になる。
• E[Y|X] が正確に線形でないものと仮定し、条件付き平均の非線形性を活用することで推定を改善する。
• E[Y|X] が非線形である場合、本手法は分散および平均二乗誤差の観点で LSE を漸近的に上回る。モデルが正しく指定されている場合には等価となる。
• 計算が単純で、標準回帰ツールに加えてラベルなし X の分布に基づく重み付けまたは再重み付けを施すことで実装可能である。
• 理論的性質は、完全情報（m→∞）および部分情報（m が n に比例）の二つの状況下で導出され、一貫した漸近的改善が得られる。

(a) TI

実験結果

リサーチクエスチョン

• RQ1 E[Y|X] が正確に線形でない場合に、ラベルなしデータが β の推定を改善できるか？
• RQ2 ラベルなしデータの組み込みが、標準最小二乗推定器を漸近的に上回る条件は何か？
• RQ3 有限標本において、新しい推定器の LSE に対する性能（特に推定誤差および予測誤差の観点）はいかがなものか？
• RQ4 モデル不適合が、新しい推定器と LSE の相対的性能に与える影響は何か？
• RQ5 本手法を高次元設定や一般化線形モデルに拡張可能か？

主な発見

• 提案された推定器 β̂_PI は、E[Y|X] が非線形である場合、標準最小二乗推定器（LSE）を分散および平均二乗誤差の観点で漸近的に上回る。
• 非線形性の程度に関わらず、一様かつ一貫した改善が得られ、モデルが正しく指定されている場合でも性能の低下がない。
• 有限標本では、シミュレーション研究により係数推定の改善が顕著に認められるが、Y の固有の変動性のため、予測誤差の向上は小さい。
• ホームレス人口推定に関する実データ例では、ラベルなしデータを活用することで係数推定の実用的改善が示された。
• 真の関係が非線形であるが線形近似が依然使用される状況で、特に非線形性の程度に応じた臨界閾値未満の標本サイズにおいて、本手法の性能が最も高くなる。
• 理論的結果は、p << n の条件下で高次元設定へ拡張可能であり、将来の研究として変数選択や一般化線形モデルへの応用が期待される。

(b) PI