[논문 리뷰] Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality

Sai Li, Tommaso Cai외 1명|arXiv (Cornell University)|2020. 06. 18.

Statistical Methods and Inference참고 문헌 32인용 수 21

한 줄 요약

이 논문은 관련된 그러나 다른 모델들로부터의 정보성 보조 샘플을 활용하여 예측과 추정을 향상시키는 고차원 선형 회귀를 위한 전이 학습 프레임워크를 제안한다. Trans-Lasso는 목표 모델과 보조 모델 계수 간의 대비에서의 희박성에 기반하여 추정기를 적응적으로 통합하는 데이터 기반 방법으로, 정보성 자료가 알려진 경우 최소 최대 최적 속도를 달성하며, 실제 유전자 발현 데이터에서 강인성과 향상된 성능을 보여준다.

ABSTRACT

This paper considers the estimation and prediction of a high-dimensional linear regression in the setting of transfer learning, using samples from the target model as well as auxiliary samples from different but possibly related regression models. When the set of "informative" auxiliary samples is known, an estimator and a predictor are proposed and their optimality is established. The optimal rates of convergence for prediction and estimation are faster than the corresponding rates without using the auxiliary samples. This implies that knowledge from the informative auxiliary samples can be transferred to improve the learning performance of the target problem. In the case that the set of informative auxiliary samples is unknown, we propose a data-driven procedure for transfer learning, called Trans-Lasso, and reveal its robustness to non-informative auxiliary samples and its efficiency in knowledge transfer. The proposed procedures are demonstrated in numerical studies and are applied to a dataset concerning the associations among gene expressions. It is shown that Trans-Lasso leads to improved performance in gene expression prediction in a target tissue by incorporating the data from multiple different tissues as auxiliary samples.

연구 동기 및 목표

• 관련되지만 서로 다른 모델들로부터의 보조 샘플을 활용하여 고차원 선형 회귀에 대해 통계적으로 최적의 전이 학습 방법을 개발한다.
• 목표 모델과 보조 모델 간의 유사성을 그들의 계수 벡터 차이의 희박성으로 특성화한다.
• 정보성 보조 샘플 집합이 알려진 경우 예측 및 추정의 최소 최대 수렴 속도를 확립한다.
• 알 수 없는 정보성 집합에 적응할 수 있는 데이터 기반 절차인 Trans-Lasso를 설계하며, 비정보성 보조 샘플에 대해서도 강인성을 유지한다.
• 시뮬레이션과 GTEx 프로젝트에서의 실제 유전자 발현 데이터에 대한 응용을 통해 방법의 실증적 타당성을 검증한다.

제안 방법

• 희박한 계수를 가진 고차원 선형 회귀로 목표 모델을 정의하고, 계수 값이 다를 수 있는 관련 모델들로부터 보조 샘플을 사용한다.
• 정보성 보조 연구를 목표 모델과의 계수 대비가 ℓq 노름에서 희박한 경우로 정의하며, δ(k) = β − w(k)를 통해 유사성을 희박성으로 공식화한다. 여기서 q ∈ [0,1]이다.
• 정보성 집합이 알려진 경우에 최소 최대 최적 속도를 달성하는 오라클 Trans-Lasso 추정기를 제안한다.
• 모든 보조 연구에서 유도된 후보 추정기를 희박성 기반 선택 기준을 사용해 통합하는 데이터 기반 집합 절차인 Trans-Lasso를 개발한다.
• 보조 샘플이 목표 모델과 유사도가 높은 것으로 추정되는 정도에 따라 가중치를 설정하기 위해 적응형 Lasso 유형의 펜alties를 사용하는 펜라이즈드 추정 프레임워크를 적용한다.
• 교차 검증과 이론적 분석을 통해 비정보성 보조 샘플 존재하에서도 강인성과 효율성을 입증한다.

실험 결과

연구 질문

• RQ1 관련 모델들로부터의 보조 샘플이 가용할 경우, 전이 학습이 고차원 선형 회귀에서 예측 및 추정 정확도를 향상시킬 수 있는가?
• RQ2 고차원 회귀에 대한 전이 학습에서 예측 및 추정의 최적 수렴 속도는 무엇이며, 이를 달성할 수 있는가?
• RQ3 정보성 보조 샘플 집합이 알려지지 않은 상황에서 이를 적응적으로 식별하고 활용할 수 있는가?
• RQ4 비정보성 보조 샘플이 포함된 경우 제안된 방법이 얼마나 강인한가?
• RQ5 전이 학습의 이론적 이점이 실제 생물학적 데이터, 예를 들어 유전자 발현 네트워크에서 실증적으로 검증될 수 있는가?

주요 결과

• 정보성 보조 샘플 집합이 알려진 경우 오라클 Trans-Lasso는 예측 및 추정에서 최소 최대 최적 속도를 달성하며, 표준 Lasso보다 더 빠른 수렴 속도를 보인다.
• GTEx 데이터에서 여러 조직에서 Lasso 대비 Trans-Lasso는 예측 오차를 평균 17% 감소시켰으며, 뚜렷한 성능 향상을 보였다.
• Amygdala와 Nucleus accumbens와 같은 조직에서는 Trans-Lasso가 상당한 향상을 보이며, 관련 조직들로부터의 지식 전이가 효과적으로 이루어졌음을 시사한다.
• Pituitary와 같이 목표 모델이 다른 조직과 유사성이 낮은 조직에서는 향상이 미미하여, 전이가 유사한 맥락에서만 제한적으로 작용함을 확인한다.
• Frontal Cortex와 같은 조직에서, 단순히 모든 보조 샘플을 통합하는 난이한 Trans-Lasso보다 Trans-Lasso가 우수한 성능을 보이며, 비정보성 자료에 대한 강인성을 입증한다.
• 염색체 21의 25개 유전자에 대해 Trans-Lasso는 전체적으로 최고의 예측 성능를 기록했으며, Cerebellar Hemisphere와 Cortex와 같은 조직에서 뚜렷한 향상을 보였다.