[论文解读] Estimation and inference for transfer learning with high-dimensional quantile regression

Jiayu Huang, Mingqiu Wang+1 more|arXiv (Cornell University)|Nov 26, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种高维分位数回归框架用于迁移学习，能够处理源域和目标域中的异质性及重尾分布。通过引入双重迁移学习估计器和基于数据分割的可迁移性检测方法，该方法在估计精度、通过置信区间实现的有效推断以及对负迁移的鲁棒性方面表现优异，理论误差界与实证验证均显示其性能强劲。

ABSTRACT

Transfer learning has become an essential technique to exploit information from the source domain to boost performance of the target task. Despite the prevalence in high-dimensional data, heterogeneity and heavy tails are insufficiently accounted for by current transfer learning approaches and thus may undermine the resulting performance. We propose a transfer learning procedure in the framework of high-dimensional quantile regression models to accommodate heterogeneity and heavy tails in the source and target domains. We establish error bounds of transfer learning estimator based on delicately selected transferable source domains, showing that lower error bounds can be achieved for critical selection criterion and larger sample size of source tasks. We further propose valid confidence interval and hypothesis test procedures for individual component of high-dimensional quantile regression coefficients by advocating a double transfer learning estimator, which is one-step debiased estimator for the transfer learning estimator wherein the technique of transfer learning is designed again. By adopting data-splitting technique, we advocate a transferability detection approach that guarantees to circumvent negative transfer and identify transferable sources with high probability. Simulation results demonstrate that the proposed method exhibits some favorable and compelling performances and the practical utility is further illustrated by analyzing a real example.

研究动机与目标

• 为解决现有迁移学习方法在处理高维、异方差及重尾数据方面的局限性。
• 在高维分位数回归中构建一个理论基础坚实的迁移学习程序，确保估计精度与统计推断的有效性。
• 为高维设置下的个体回归系数提供有效的置信区间与假设检验。
• 通过数据分割策略高概率地检测可迁移的源域，避免负迁移。
• 在受控选择源域的条件下，为迁移学习估计器建立理论误差界。

提出的方法

• 提出双重迁移学习估计器：对迁移学习估计器进行一步去偏处理，以实现有效推断。
• 引入基于数据分割的技术，构建可迁移性检测程序，以高概率识别可靠的源域。
• 基于源域的相关性与样本量，设计合理的源域选择准则，以最小化估计误差。
• 采用高维分位数回归模型以建模条件分位数，适应异质性与重尾误差分布。
• 在稀疏性与设计矩阵性质的假设下，推导迁移学习估计器的理论误差界。
• 对迁移学习估计器应用去偏机制，以校正估计偏差，并实现渐近有效的推断。

实验结果

研究问题

• RQ1 在高维分位数回归中，迁移学习能否有效处理跨域的重尾与异质性数据？
• RQ2 在迁移学习框架下，如何为高维分位数回归系数构建有效的置信区间与假设检验？
• RQ3 何种标准可确保源域选择带来更高的估计精度并避免负迁移？
• RQ4 基于数据分割的可迁移性检测程序在多大程度上能可靠识别出有用的源域？
• RQ5 在受控选择源域的条件下，可为迁移学习估计器建立何种理论误差界？

主要发现

• 当源域选择准则关键且源样本量较大时，所提出的迁移学习估计器可实现更低的误差界。
• 双重迁移学习估计器可为个体回归系数提供有效置信区间与假设检验，并具有渐近覆盖保证。
• 基于数据分割的可迁移性检测方法可高概率识别可迁移源域，并有效防止负迁移。
• 模拟结果表明，该方法在重尾与异质条件下均优于基线方法，在估计精度与推断可靠性方面表现更优。
• 真实数据示例展示了该方法在具有复杂误差结构的高维设置下的实际应用价值。
• 理论分析证实，误差界随可迁移源样本数量与选择准则强度的增强而有利地缩小。