[논문 리뷰] Robust angle-based transfer learning in high dimensions

Tian Gu, Yi Han외 1명|arXiv (Cornell University)|2022. 10. 23.

Cancer-related molecular mechanisms research인용 수 5

한 줄 요약

이 논문은 개인 수준의 데이터가 필요로 하지 않는, 사전 훈련된 소스 모델 파라미터를 활용하는 강력하고 폐쇄형 해법인 각도 기반 전이 학습(angleTL)을 제안한다. 고차원 회귀 문제에 대해, 소스 및 타겟 모델 계수 간의 각도 유사도를 활용하여 예측 정확도를 적응적으로 향상시키고, 악성 전이(negative transfer)를 방지하며, 생물은행에서의 시뮬레이션 및 실제 유전적 위험 예측에서 벤치마크 방법들을 능가한다.

ABSTRACT

Transfer learning aims to improve the performance of a target model by leveraging data from related source populations, which is known to be especially helpful in cases with insufficient target data. In this paper, we study the problem of how to train a high-dimensional ridge regression model using limited target data and existing regression models trained in heterogeneous source populations. We consider a practical setting where only the parameter estimates of the fitted source models are accessible, instead of the individual-level source data. Under the setting with only one source model, we propose a novel flexible angle-based transfer learning (angleTL) method, which leverages the concordance between the source and the target model parameters. We show that angleTL unifies several benchmark methods by construction, including the target-only model trained using target data alone, the source model fitted on source data, and distance-based transfer learning method that incorporates the source parameter estimates and the target data under a distance-based similarity constraint. We also provide algorithms to effectively incorporate multiple source models accounting for the fact that some source models may be more helpful than others. Our high-dimensional asymptotic analysis provides interpretations and insights regarding when a source model can be helpful to the target model, and demonstrates the superiority of angleTL over other benchmark methods. We perform extensive simulation studies to validate our theoretical conclusions and show the feasibility of applying angleTL to transfer existing genetic risk prediction models across multiple biobanks.

연구 동기 및 목표

• 사전 훈련된 소스 모델 파라미터만 제공되고 타겟 데이터가 제한적인 상황에서 고차원 회귀 모델을 훈련하는 데 도전하는 것.
• 개인 수준의 소스 데이터가 이용 불가능한 상황에서 소스 및 타겟 인구 집단 간 이질성이 존재할 경우 악성 전이를 방지할 수 있는 방법을 개발하는 것.
• 각도 기반 유사도 측정을 통해 소스 및 타겟 모델 파라미터 간의 일치성을 활용하여 기존의 벤치마크 전이 학습 방법들을 통합하고 개선하는 것.
• 소스 모델의 유용성을 고려한 가중치 조합 전략을 도입하여 다수의 소스 모델을 통합하는 프레임워크를 확장하는 것.
• angleTL의 이론적 근거를 제공하고 다양한 시뮬레이션 설정 및 실제 생물은행 데이터 응용 사례에서의 실증적 검증을 수행하는 것.

제안 방법

• 소스 모델 추정치와 타겟 계수 벡터 간의余弦 유사도(각도)를 기반으로 한 새로운 정규화 항을 도입하여, 소스 및 타겟 파라미터가 일치할 경우에 유사도를 증진시킨다.
• 목적 함수는 표준 최소 제곱 손실과 정규화 항을 조합한 것으로, $\lambda\|\boldsymbol{\beta}\|_{2}^{2} - 2\eta\hat{\mathbf{w}}^{\top}\boldsymbol{\beta}$ 로 표현되며, 여기서 $\hat{\mathbf{w}}$ 는 소스 모델 추정치이고 $\eta$ 는 소스의 影響력을 조절하는 상수이다.
• 반복 최적화나 개인 수준의 데이터 접근이 필요 없이도 효율적인 계산이 가능한 폐쇄형 해를 유도한다.
• 다수의 소스가 존재할 경우, 각 소스 모델의 타겟에 대한 상대적 유사도를 고려한 가중 평균을 통해 소스 모델을 통합하며, 가중치는 각도 기반 일치성에 의해 결정된다.
• 고차원 점근적 분석을 통해 소스 모델이 유용한 조건을 제시하며, 신호 강도, 노이즈 수준, 차원 수 등 핵심 요소를 규명한다.
• 결과적으로 분류 문제로의 확장을 위해 적합한 결과나 순위 기반 비교를 기반으로 한 유사도 측정으로 유사도를 조정하고, 각도 기반 정규화 프레임워크를 유지한다.

실험 결과

연구 질문

• RQ1 제한된 데이터로 고차원 설정에서 사전 훈련된 소스 모델이 타겟 모델 성능 향상에 기여하는 조건은 무엇인가?
• RQ2 소스 및 타겟 모델이 잘 일치하지 않을 경우, 특히 소스 데이터가 개인 수준로 제공되지 않는 상황에서 전이 학습이 어떻게 인구 집단의 이질성에 대해 강건하게 유지될 수 있는가?
• RQ3 신호 강도, 노이즈 수준, 모델 차원 수가 각도 기반 전이 학습의 성능에 미치는 영향은 무엇인가?
• RQ4 각 소스 모델의 타겟에 대한 유용성이 다를 경우, 다수의 소스 모델을 최적으로 어떻게 통합할 수 있는가?
• RQ5 서로 다른 소스 인구 집단에서 정보를 통합할 때 angleTL이 악성 전이를 방지할 수 있는가?

주요 결과

• angleTL은 소스 및 타겟 파라미터가 중간 정도로 일치할 경우를 포함하여 다양한 시뮬레이션 설정에서 벤치마크 방법들, 특히 타겟 전용 및 소스 전용 모델을 능가한다.
• 낮은 각도 일치성을 보이는 소스는 가중치를 낮춰 악성 전이를 방지하여, 소스 데이터가 관련이 없거나 이질적인 경우 성능 저하가 발생하지 않도록 보장한다.
• 이론적 분석을 통해 angleTL의 성능는 신호 강도와 차원 수에 따라 적응적으로 변화하며, 타겟 신호가 강하고 차원 수 대 표본 수 비율이 중간일 경우 추정 성능이 향상됨을 보여준다.
• 실제 응용에서는 여러 생물은행 간에 유전적 위험 예측 모델을 성공적으로 전이하여 실용성과 강건성을 입증한다.
• 폐쇄형 해법 덕분에 반복적 통신이나 개인 수준의 데이터 접근이 필요 없어, 개인정보 보호에 적합한 환경에서 효율적으로 구현 가능하다.
• 결과 기반 유사도 측정을 통해 분류 작업으로의 확장을 통해 유망한 성과를 보였으며, 시뮬레이션 결과는 선형 회귀를 초월한 방법의 유연성을 확인한다.