[논문 리뷰] Estimation and inference for transfer learning with high-dimensional quantile regression

Jiayu Huang, Mingqiu Wang외 1명|arXiv (Cornell University)|2022. 11. 26.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 소스 도메인과 타겟 도메인에서 이질성과 무거운 尾를 수용할 수 있는 전이 학습을 위한 고차원 분위수 회귀 프레임워크를 제안한다. 이중 전이 학습 추정기와 데이터 분할 기반의 전이 가능성 탐지 기법을 도입함으로써, 추정 정확도 향상, 신뢰구간을 통한 타당한 추론, 부정적 전이에 대한 강건성 확보를 달성하였으며, 이론적 오차 한계와 실증적 검증을 통해 뛰어난 성능을 보였다.

ABSTRACT

Transfer learning has become an essential technique to exploit information from the source domain to boost performance of the target task. Despite the prevalence in high-dimensional data, heterogeneity and heavy tails are insufficiently accounted for by current transfer learning approaches and thus may undermine the resulting performance. We propose a transfer learning procedure in the framework of high-dimensional quantile regression models to accommodate heterogeneity and heavy tails in the source and target domains. We establish error bounds of transfer learning estimator based on delicately selected transferable source domains, showing that lower error bounds can be achieved for critical selection criterion and larger sample size of source tasks. We further propose valid confidence interval and hypothesis test procedures for individual component of high-dimensional quantile regression coefficients by advocating a double transfer learning estimator, which is one-step debiased estimator for the transfer learning estimator wherein the technique of transfer learning is designed again. By adopting data-splitting technique, we advocate a transferability detection approach that guarantees to circumvent negative transfer and identify transferable sources with high probability. Simulation results demonstrate that the proposed method exhibits some favorable and compelling performances and the practical utility is further illustrated by analyzing a real example.

연구 동기 및 목표

• 기존 전이 학습 방법이 고차원, 이방사성, 그리고 무거운 尾를 가진 데이터를 다루는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 추정 정확도와 통계적 추론을 보장하는 고차원 분위수 회귀 내에서 이론적으로 탄탄한 전이 학습 절차를 개발하기 위해.
• 고차원 설정에서 개별 회귀 계수에 대한 타당한 신뢰구간과 가설 검정을 제공하기 위해.
• 데이터 분할 전략을 활용하여 높은 확률로 전이 가능한 소스 도메인을 탐지하고, 부정적 전이를 방지하기 위해.
• 소스 도메인의 선택을 통제하는 조건 하에서 전이 학습 추정기의 이론적 오차 한계를 수립하기 위해.

제안 방법

• 이중 전이 학습 추정기 도입: 추론의 타당성을 보장하기 위해 전이 학습 추정기의 일단계 탈편향 버전을 제안한다.
• 데이터 분할 기법을 활용해 전이 가능성 탐지 절차를 구성하여, 높은 확률로 신뢰할 수 있는 소스 도메인을 식별한다.
• 추정 오차를 최소화하기 위해 관련성과 표본 크기를 기반으로 한 신중히 설계된 소스 도메인 선택 기준을 적용한다.
• 이질성과 중무거운 尾 오차 분포를 수용할 수 있는 고차원 분위수 회귀 모델을 사용하여 조건부 분위수를 모델링한다.
• 희소성과 설계 행렬 성질에 대한 가정 하에 전이 학습 추정기의 이론적 오차 한계를 유도한다.
• 추정 편향을 보정하고 渐近적으로 타당한 추론을 가능하게 하기 위해 전이 학습 추정기에 탈편향 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 고차원 분위수 회귀에서의 전이 학습이 도메인 간 무거운 尾와 이질성을 효과적으로 다룰 수 있는가?
• RQ2 전이 학습 하에서 고차원 분위수 회귀 계수에 대해 타당한 신뢰구간과 가설 검정을 어떻게 구성할 수 있는가?
• RQ3 소스 도메인 선택 기준이 추정 정확도 향상과 부정적 전이 회피를 보장하기 위해 어떤 조건을 가져야 하는가?
• RQ4 데이터 분할 기반의 전이 가능성 탐지 절차가 유용한 소스 도메인을 얼마나 신뢰성 있게 식별하는가?
• RQ5 통제된 소스 도메인 선택 조건 하에서 전이 학습 추정기의 이론적 오차 한계는 어떻게 수립할 수 있는가?

주요 결과

• 소스 도메인 선택 기준이 중요하고 소스 표본 크기가 클 경우, 제안된 전이 학습 추정기가 낮은 오차 한계를 달성한다.
• 이중 전이 학습 추정기는 점점 더 타당한 신뢰구간과 가설 검정을 개별 회귀 계수에 대해 제공하며 渐近적 커버리지 보장을 갖는다.
• 데이터 분할 기반의 전이 가능성 탐지 방법은 높은 확률로 전이 가능한 소스를 식별하고, 부정적 전이를 방지한다.
• 시뮬레이션 결과는, 무거운 尾와 이질성 조건 하에서 기준 방법 대비 추정 정확도와 추론 신뢰성 측면에서 본 방법이 뛰어난 성능을 보임을 보여준다.
• 실제 데이터 예시는 복잡한 오차 구조를 가진 고차원 설정에서 본 방법의 실용적 유용성을 입증한다.
• 이론적 분석은 오차 한계가 전이 가능한 소스 표본 수와 선택 기준의 강도에 따라 유리하게 스케일링됨을 확인한다.