[논문 리뷰] Semi-Supervised Linear Regression

David Azriel, Lawrence D. Brown외 4명|arXiv (Cornell University)|2016. 12. 07.

Statistical Methods and Inference참고 문헌 8인용 수 12

한 줄 요약

이 논문은 조건부 기대값 E[Y|X]가 정확히 선형이 아닐 경우 표준 최소제곱추정자(LSE)를 개선하기 위해 비감독학습 데이터를 활용하는 반감독 선형회귀 방법을 제안한다. 이 방법은 비감독학습 데이터의 X의 주변분포를 이용하여 선형계수벡터 β에 대한 渐近적으로 우월한 추정자(추정량)를 구성한다. 모형이 잘못 설정되어 있을 경우, 이 추정자는 일관된 분산과 평균제곱오차 감소를 달성하며, 시뮬레이션과 실제 데이터 응용 사례에서 유한 표본에서도 일관된 성능 향상을 보인다.

ABSTRACT

We study a regression problem where for some part of the data we observe both the <i>label</i> variable (<i>Y</i>) and the <i>predictors</i> (X), while for other part of the data only the predictors are given. Such a problem arises, for example, when observations of the label variable are costly and may require a skilled human agent. When the conditional expectation E[Y|X] is not exactly linear, one can consider the best linear approximation to the conditional expectation, which can be estimated consistently by the least-square estimates (LSE). The latter depends only on the labeled data. We suggest improved alternative estimates to the LSE that use also the unlabeled data. Our estimation method can be easily implemented and has simply described asymptotic properties. The new estimates asymptotically dominate the usual standard procedures under certain non-linearity condition of E[Y|X]; otherwise, they are asymptotically equivalent. The performance of the new estimator for small sample size is investigated in an extensive simulation study. A real data example of inferring homeless population is used to illustrate the new methodology.

연구 동기 및 목표

• 진짜 조건부 기대값 E[Y|X]가 비선형인데도 선형 근사가 여전히 필요할 경우 선형회귀 추정을 개선하는 방법을 개발하는 것.
• 예측변수 X만 관측 가능한 비감독학습 데이터를 활용하여 표준 최소제곱추정자 이상으로 선형계수벡터 β를 추정하는 것.
• 선형모형이 잘못 설정되어 있을 경우, 새로운 추정자가 LSE에 비해 渐近적으로 우월함을 입증하는 것. 특히 분산과 예측오차 측면에서.
• 시뮬레이션과 실생활의 홈리스 인구 추정 사례 연구를 통해 실용적 유용성을 입증하는 것.
• 유한표본 및 고차원 설정에서 비감독학습 데이터가 의미 있는 성능 향상을 제공하는 조건을 탐색하는 것.

제안 방법

• 이 방법은 비감독학습 데이터에서의 X의 경험분포를 활용하여 선형계수벡터 β의 추정을 향상시키는 새로운 추정자 β̂_PI를 구성한다.
• 비감독학습 샘플에서 X의 주변분포가 레이블이 붙은 데이터의 주변분포를 대표한다고 가정함으로써, 모형이 잘못 설정된 상황에서 더 나은 추론이 가능해진다.
• E[Y|X]가 정확히 선형이 아니라는 가정 하에 유도되며, 이는 조건부 기대값의 비선형성을 활용하여 추정 성능을 향상시킬 수 있음을 의미한다.
• E[Y|X]가 비선형인 경우, 이 방법은 분산과 평균제곱오차 측면에서 LSE에 비해 渐近적으로 우월하다. 모형이 정확히 설정된 경우는 동일한 성능이다.
• 계산이 단순하며, 표준 회귀 도구에 비감독학습 X 분포 기반의 가중치 또는 재가중치를 추가함으로써 쉽게 구현할 수 있다.
• 이론적 성질은 두 상황에서 유도된다: 완전 정보 상황(m→∞)과 부분 정보 상황(m이 n에 비례함). 이 경우에도 일관된 渐近적 향상이 이루어진다.

(a) TI

실험 결과

연구 질문

• RQ1 E[Y|X]가 정확히 선형이 아닐 경우, 비감독학습 데이터가 선형계수벡터 β의 추정을 향상시킬 수 있는가?
• RQ2 비감독학습 데이터를 포함함으로써 LSE에 비해 渐近적으로 개선되는 조건은 무엇인가?
• RQ3 특히 추정 오차와 예측 오차 측면에서, 새로운 추정자는 표본 수가 유한할 경우 LSE에 비해 어떻게 성능을 내는가?
• RQ4 모형이 잘못 설정되었을 경우, 새로운 추정자와 LSE 간의 상대적 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 고차원 설정이나 일반화선형모형으로 확장될 수 있는가?

주요 결과

• 제안된 추정자 β̂_PI는 E[Y|X]가 비선형인 경우, 분산과 평균제곱오차 측면에서 표준 최소제곱추정자(LSE)에 비해 渐近적으로 우월하다.
• 비선형 정도에 관계없이 일관된 성능 향상이 이루어지며, 모형이 정확히 설정된 경우에도 성능 저하가 없다.
• 유한 표본에서는 시뮬레이션 연구에서 계수 추정 성능 향상이 뚜렷한데, Y의 변동성으로 인해 예측오차 향상은 상대적으로 작다.
• 실제 데이터 사례인 홈리스 인구 추정에서 비감독학습 데이터를 활용한 계수 추정 성능 향상이 실증적으로 확인되었다.
• 진짜 관계가 비선형인데도 선형 근사를 사용하는 상황에서 특히 성능이 뛰어나며, 비선형 정도에 따라 결정되는 임계 표본 크기 이하일 경우 가장 뛰어난 성능을 보인다.
• 이론적 결과는 p << n 조건 하에 고차원 설정으로도 확장 가능하며, 향후 변수 선택 및 일반화선형모형 확장에 대한 연구가 가능할 전망이다.

(b) PI