[論文レビュー] Semi-supervised learning in unmatched linear regression using an empirical likelihood approach

Fadoua Balabdaoui, Jinyu Chen|arXiv (Cornell University)|Jan 27, 2026

Statistical Methods and Inference被引用数 0

ひとこと要約

論文は少量のマッチしたサンプルと大規模なマッチしていないサンプルを用いた線形回帰の半教師付き最大経験的尤度推定量（SSLEMLE）を開発し、整合性、漸近正規性、および未ラベルデータからの統計的利得の閉形式表現を証明する。

ABSTRACT

Knowing the link between observed predictive variables and outcomes is crucial for making inference in any regression model. When this link is missing, partially or completely, classical estimation methods fail in recovering the true regression function. Deconvolution approaches have been proposed and studied in detail in the unmatched setting where the predictive variables and responses are allowed to be independent. In this work, we consider linear regression in a semi-supervised learning setting where, beside a small sample of matched data, we have access to a relatively large unmatched sample. Using maximum likelihood estimation, we show that under some mild assumptions the semi-supervised learning empirical maximum likelihood estimator (SSLEMLE) is asymptotically normal and give explicitly its asymptotic covariance matrix as a function of the ratio of the matched/unmatched sample sizes and other parameters. Furthermore, we quantify the statistical gain achieved by having the additional large unmatched sample over having only the small matched sample. To illustrate the theory, we present the results of an extensive simulation study and apply our methodology to the "combined cycle power plant" data set.

研究の動機と目的

• Y = beta0^T X + epsilon が部分的に unknown である場合の線形回帰における推論を動機づけ、巨大なマッチしていないデータサンプルを活用する。
• マッチデータとアンマッチデータを組み合わせる半教師付き経験的尤度フレームワークを導入する。
• mild assumptions の下で SSLEMLE の存在性、整合性、および漸近正規性を確立する。
• アンマッチデータを追加することで得られる統計的利得を定量化し、ガウス設定での明示的式を提供する。
• シミュレーションと実データ応用（組み合わせサイクル発電所データセット）でアプローチをデモンストレーションする。

提案手法

• マッチデータ(Xk,Yk)とアンマッチデータ(〜tyXj, 〜tyYj)をノイズの密度fを用いて結合する経験的対数尤度を定義する。
• 階層性条件と正規性条件の下で最大化子（SSLEMLE）の存在を示し、有限サンプルと漸近的ケースを分析する。
• 経験的過程理論と母集団基準量ell(beta)を用いてSSLEMLEの整合性を証明する。
• SSLEMLEの漸近正規性を導出し、漸近共分散行列Sigma_SSLの明示的形をlambda、Gamma1、Gamma2、およびSigma2の関数として提供する。
• Gaussian ケースでの統計的利得Gの明示的形を導入・分析し、未ラベルデータが推定効率をどのように改善するかを示す。
• シミュレーション研究を実施し、組み合わせサイクル発電所データセットへの適用を通じて実務的性能を示す。

実験結果

リサーチクエスチョン

• RQ1 SSLEMLE は少量のマッチデータと大規模なアンマッチデータを組み合わせた場合に、beta0 を一貫して推定できるか。
• RQ2 SSLEMLE の漸近分布はどうなるか、そしてアンマッチデータは分散にどのように影響するか。
• RQ3 Gaussian 仮定の下で特にアンマッチデータを含めることによる統計的利得をどのように定量化できるか。
• RQ4 シミュレーションと実データの例は、理論的利得と漸近的結果を支持するか。

主な発見

• SSLEMLE は有限サンプルで存在し、前述の条件の下で大サンプル領域では確率1で存在する。
• SSLEMLE は整合性があり漸近的に正規であり、共分散構造はマッチ/アンマッチサンプルサイズ比lambda に依存する。
• 漸近的共分散 Sigma_SSL は Gamma1, Gamma2, Sigma2, および lambda の関数として明示的に与えられ、両データ源の寄与を反映する。
• Gaussian ケースでの統計的利得 G の閉形式表現が導出され、未ラベルデータが推定効率を改善できることを示す。
• シミュレーションは理論的利得式を検証し、ノイズ分布や共変量分布の違いを跨いだ挙動を示す；方法は組み合わせサイクル発電所データセットに適用された。
• 利得はSNR に対して単峰性の挙動を示し、SNR が大きくなると利得は 1 に近づく。