[논문 리뷰] Semi-supervised learning in unmatched linear regression using an empirical likelihood approach

Fadoua Balabdaoui, Jinyu Chen|arXiv (Cornell University)|2026. 01. 27.

Statistical Methods and Inference인용 수 0

한 줄 요약

본 논문은 작은 매칭 샘플과 큰 매칭되지 않은 샘플을 가진 선형 회귀에 대해 준감독 최대 경험 우도 추정기(SSLEMLE)를 개발하고, 일관성(consistency), 점근적 정상성, 그리고 매칭되지 않은 데이터로부터의 통계적 이득에 대한 닫힌 형태의 표현을 증명한다.

ABSTRACT

Knowing the link between observed predictive variables and outcomes is crucial for making inference in any regression model. When this link is missing, partially or completely, classical estimation methods fail in recovering the true regression function. Deconvolution approaches have been proposed and studied in detail in the unmatched setting where the predictive variables and responses are allowed to be independent. In this work, we consider linear regression in a semi-supervised learning setting where, beside a small sample of matched data, we have access to a relatively large unmatched sample. Using maximum likelihood estimation, we show that under some mild assumptions the semi-supervised learning empirical maximum likelihood estimator (SSLEMLE) is asymptotically normal and give explicitly its asymptotic covariance matrix as a function of the ratio of the matched/unmatched sample sizes and other parameters. Furthermore, we quantify the statistical gain achieved by having the additional large unmatched sample over having only the small matched sample. To illustrate the theory, we present the results of an extensive simulation study and apply our methodology to the "combined cycle power plant" data set.

연구 동기 및 목표

• Y = beta0^T X + epsilon 관계가 부분적으로 알려지지 않은 선형 회귀에서 추론을 동기화하고, 대규모의 매칭되지 않은 데이터 샘플을 활용한다.
• 매칭 데이터와 매칭되지 않은 데이터를 결합하는 준감독 경험적 우도 프레임워크를 도입한다.
• 완화한 가정하에 SSLEMLE의 존재성, 일관성 및 점근적 정상성을 확립한다.
• 매칭되지 않은 데이터 추가로 얻는 통계적 이득을 정량화하고 가우시안 설정에서 명시적 해를 제시한다.
• 시뮬레이션과 실제 데이터 적용(Combined Cycle Power Plant 데이터셋)을 통해 방법을 시연한다.

제안 방법

• 잡음의 밀도 f를 통해 매칭 데이터 (Xk,Yk)와 매칭되지 않은 데이터 (ŸyXj,ŸyYj)를 결합하는 경험적 로그 우도를 정의한다.
• 랭크 및 정규성 조건하에서 최댓값(SSLEMLE)의 존재를 보이고, 유한 및 점근적 경우를 분석한다.
• 경험적 과정 이론과 모집단 기준 ℓ(β)를 사용하여 SSLEMLE의 일관성을 증명한다.
• SSLEMLE의 점근적 정상성을 도출하고 점근적 공분산 행렬 Σ_SSL의 명시적 형태를 λ, Gamma1, Gamma2, Sigma2의 함수로 제공한다.
• 매칭되지 않은 데이터를 추가하는 것에서의 통계적 이득 G를 도입하고 분석하며, 가우시안 케이스의 명시적 공식을 제시한다.
• 시뮬레이션 연구를 수행하고 방법을 Combined Cycle Power Plant 데이터셋에 적용하여 실용적 성능을 보여준다.

실험 결과

연구 질문

• RQ1 작은 매칭 샘플과 큰 매칭되지 않은 샘플을 결합할 때 SSLEMLE이 β0를 일관되게 추정할 수 있는가?
• RQ2 SSLEMLE의 점근적 분포는 무엇이며 매칭되지 않은 데이터가 분산에 어떤 영향을 미치는가?
• RQ3 가우시안 가정하에서 특히 매칭되지 않은 데이터를 포함시켜 얻는 통계적 이득을 어떻게 정량화할 수 있는가?
• RQ4 시뮬레이션과 실제 데이터 예가 이론적 이득과 점근적 결과를 뒷받침하는가?

주요 결과

• 제시된 조건에서 SSLEMLE은 유한 샘플에 대해 존재하며, 큰 샘플 구간에서 확률 1로 존재한다.
• SSLEMLE은 일관성과 점근적 정상성을 가지며, 공분산 구조는 매칭/비매칭 샘플 크기의 비율 lambda에 의존한다.
• 점근적 공분산 Σ_SSL은 Gamma1, Gamma2, Sigma2, 그리고 lambda의 함수로 명시적으로 주어지며, 두 데이터 소스의 기여를 반영한다.
• 가우시안 케이스에서 통계적 이득 G의 닫힌 형태 표현이 도출되어 비표지 데이터가 추정의 효율성을 어떻게 개선하는지 보여준다.
• 시뮬레이션은 이론적 이득 공식을 검증하고 다양한 잡음 및 공변량 분포에서의 동작을 보여주며, 방법은 Combined Cycle Power Plant 데이터셋에 적용된다.
• 이득은 SNR에 대해 단봉형으로 나타나며, SNR이 커지면 이득은 1에 수렴한다.