[論文レビュー] Estimation and inference for transfer learning with high-dimensional quantile regression

Jiayu Huang, Mingqiu Wang+1 more|arXiv (Cornell University)|Nov 26, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿は、ソースおよびターゲットドメインにおける不均等性および重たい尾を持つ分布を扱える高次元分位数回帰フレームワークを提案する。二重の転送学習推定量とデータ分割に基づく転送可能性検出を導入することで、推定精度の向上、信頼区間による有効な推論、および負の転送に対するロバスト性を達成し、理論的誤差バウンズと実証的検証により優れた性能を示している。

ABSTRACT

Transfer learning has become an essential technique to exploit information from the source domain to boost performance of the target task. Despite the prevalence in high-dimensional data, heterogeneity and heavy tails are insufficiently accounted for by current transfer learning approaches and thus may undermine the resulting performance. We propose a transfer learning procedure in the framework of high-dimensional quantile regression models to accommodate heterogeneity and heavy tails in the source and target domains. We establish error bounds of transfer learning estimator based on delicately selected transferable source domains, showing that lower error bounds can be achieved for critical selection criterion and larger sample size of source tasks. We further propose valid confidence interval and hypothesis test procedures for individual component of high-dimensional quantile regression coefficients by advocating a double transfer learning estimator, which is one-step debiased estimator for the transfer learning estimator wherein the technique of transfer learning is designed again. By adopting data-splitting technique, we advocate a transferability detection approach that guarantees to circumvent negative transfer and identify transferable sources with high probability. Simulation results demonstrate that the proposed method exhibits some favorable and compelling performances and the practical utility is further illustrated by analyzing a real example.

研究の動機と目的

• 既存の転送学習手法が高次元的で、分散が不均一で、重たい尾を持つデータを処理する際の限界を解決すること。
• 推定精度と統計的推論を保証する、高次元分位数回帰における理論的根拠に基づいた転送学習手順を開発すること。
• 高次元設定における個々の回帰係数に対して有効な信頼区間と仮説検定を提供すること。
• データ分割戦略を用いて、高い確率で転送可能なソースドメインを特定し、負の転送を回避すること。
• ソースドメインの選択を制御した条件下で、転送学習推定量の理論的誤差バウンズを確立すること。

提案手法

• 二重の転送学習推定量を提案：推定バイアスを補正し、漸近的に有効な推論を可能にする、転送学習推定量の1ステップデバイアス版。
• データ分割技術を導入し、高い確率で信頼性のあるソースドメインを特定する転送可能性検出手順を構築する。
• 推定誤差を最小化するため、ソースドメインの関連性とサンプルサイズに基づいた洗練された選択基準を採用する。
• 高次元分位数回帰モデルを用いて条件付き分位数をモデル化し、不均等性と重たい尾を持つ誤差分布を扱う。
• スパarsityと設計行列の性質に関する仮定の下で、転送学習推定量の理論的誤差バウンズを導出する。
• 推定バイアスを補正し、漸近的に有効な推論を可能にするために、転送学習推定量にデバイアス化機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 高次元分位数回帰における転送学習は、ドメイン間で重たい尾や不均等性を持つデータを効果的に処理できるか？
• RQ2 転送学習を適用した高次元分位数回帰係数に対して、有効な信頼区間と仮説検定をどのように構築できるか？
• RQ3 ソースドメインの選択基準は、推定精度の向上と負の転送の回避を保証するために何を満たすべきか？
• RQ4 データ分割に基づく転送可能性検出手順は、どれほど信頼性高く有用なソースドメインを特定できるか？
• RQ5 制御されたソースドメイン選択の下で、転送学習推定量の理論的誤差バウンズをどのように確立できるか？

主な発見

• ソースドメインの選択基準が重要で、かつソースのサンプルサイズが大きい場合、提案された転送学習推定量はより低い誤差バウンズを達成する。
• 二重の転送学習推定量は、漸近的カバレッジ保証を持つ信頼区間と仮説検定を有効に実現できる。
• データ分割に基づく転送可能性検出法は、高い確率で転送可能なソースを特定し、負の転送を防止する。
• シミュレーション結果は、重たい尾や不均等性のある条件下で、本手法がベースライン手法を上回る推定精度と推論の信頼性を示している。
• 実データの例は、複雑な誤差構造を持つ高次元設定において本手法の実用的有用性を示している。
• 理論的分析により、誤差バウンズが転送可能なソースサンプル数と選択基準の強さに有利にスケーリングされることを確認した。