[논문 리뷰] Transfer Learning under High-dimensional Generalized Linear Models

Ye Tian, Yan Feng|arXiv (Cornell University)|2021. 05. 29.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 고차원 일반선형모형(GLMs)을 위한 다중원천 전이학습 프레임워크를 제안하며, 목표 모수와 원천 모수 간의 $β$-희소 대비를 활용하여 추정 및 예측 정확도를 향상시킨다. 이론적으로, 고전적인 정규화 추정기보다 원천들이 충분히 유사할 경우 더 우수한 $Ø_1$/$Ø_2$ 추정 오차 한계와 예측 오차율을 확립하였으며, 유의미한 원천을 탐지하고 신뢰구간을 구성할 수 있음을 입증하였다.

ABSTRACT

In this work, we study the transfer learning problem under high-dimensional generalized linear models (GLMs), which aim to improve the fit on target data by borrowing information from useful source data. Given which sources to transfer, we propose a transfer learning algorithm on GLM, and derive its $\ell_1/\ell_2$-estimation error bounds as well as a bound for a prediction error measure. The theoretical analysis shows that when the target and source are sufficiently close to each other, these bounds could be improved over those of the classical penalized estimator using only target data under mild conditions. When we don't know which sources to transfer, an algorithm-free transferable source detection approach is introduced to detect informative sources. The detection consistency is proved under the high-dimensional GLM transfer learning setting. We also propose an algorithm to construct confidence intervals of each coefficient component, and the corresponding theories are provided. Extensive simulations and a real-data experiment verify the effectiveness of our algorithms. We implement the proposed GLM transfer learning algorithms in a new R package glmtrans, which is available on CRAN.

연구 동기 및 목표

• 다수의 원천이 존재할 경우 고차원 GLMs에 대한 전이학습에서 이론적 보장을 제공하지 못하는 문제를 해결한다.
• 관련되지만 서로 다른 원천 데이터셋으로부터 정보를 빌려와 목표 작업의 추정 및 예측 성능을 향상시킨다.
• 유의미한 원천만 식별함으로써 부정적 전이를 완화하기 위해 원천 탐지 방법을 개발한다.
• 전이학습 프레임워크 하에서 계수 추정치에 대해 유효한 신뢰구간을 제공한다.
• 기존의 단일원천 및 선형 모델 연구를 다중원천, 고차원 GLMs로 확장하며, 계수 대비에 대해 $Ø_1$-희소성 가정을 적용한다.

제안 방법

• 목표 및 원천 데이터를 함께 추정하는 정규화 가능도 접근법을 사용한 고차원 GLMs를 위한 다중원천 전이학습 알고리즘을 제안한다.
• 목표 모수와 원천 모수 간의 대비가 $Ø_1$-희소임을 가정하여, 원천들이 유사할 경우 추정 성능을 향상시킬 수 있다.
• 유사한 조건 하에서 최소최대 최적임을 입증한 이론적 $Ø_1$/$Ø_2$ 추정 오차 한계와 예측 오차율을 도출한다.
• 주 학습 알고리즘에 의존하지 않고도 전이 가능성을 탐지할 수 있도록, 검정 통계량 기반의 알고리즘에 의존하지 않는 원천 탐지 절차를 도입한다.
• 편향 제거 기법을 사용하여 개별 계수 성분에 대한 신뢰구간을 구성하였으며, 이론적 근거를 제시한다.
• 실용적 사용을 위해 R 패키지 glmtrans를 개발하여 CRAN에 배포하여 재현 가능 연구 및 실무 적용을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 여러 관련 원천 데이터셋이 가용할 경우, 전이학습이 고차원 GLMs에서 추정 정확도를 향상시킬 수 있는가?
• RQ2 원천에서 정보를 전이할 때, 목표 데이터만을 사용하는 것보다 더 나은 추정 및 예측을 얻을 수 있는 조건은 무엇인가?
• RQ3 어떤 원천이 진정으로 전이 가능하며, 관련이 없는 원천으로부터의 부정적 전이를 피할 수 있는가?
• RQ4 고차원 GLMs에서 전이학습 프레임워크 하에 계수 추정치에 대해 유효한 신뢰구간을 구성할 수 있는가?
• RQ5 제안된 방법의 오차율은 가정된 희소성 구조 하에서 최소최대 최적인가?

주요 결과

• 목표 모형과 원천 모형이 충분히 유사할 경우, 제안된 전이학습 방법은 고전적인 정규화 추정기보다 $Ø_1$/$Ø_2$ 추정 오차 한계를 개선한다.
• 예측 오차율은 미세한 정규성 조건 하에서도 고차원 설정에서도 최소최대 최적이다.
• 알고리즘에 의존하지 않는 원천 탐지 절차는 탐지 일致성을 확보하여 고차원 GLM 설정 하에서 유의미한 원천을 정확히 식별한다.
• 편향 제거 기법을 활용해 개별 계수 성분에 대해 이론적으로 보장된 커버리지 확보가 가능한 유효한 신뢰구간을 구성한다.
• 시뮬레이션 연구 결과, 관련된 원천들만 사용할 경우 추정 오차가 감소하고 부정적 전이를 피할 수 있음을 확인하였다.
• R 패키지 glmtrans는 제안된 알고리즘을 구현하였으며, 재현 가능 연구 및 실무 배포를 위해 CRAN에 공개되어 있다.