[論文レビュー] Transfer Learning under High-dimensional Generalized Linear Models

Ye Tian, Yan Feng|arXiv (Cornell University)|May 29, 2021

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、高次元一般化線形モデル（GLMs）におけるマルチソース転移学習フレームワークを提案する。目的変数とソース係数の間の $β$-スパースな対比を活用することで、推定および予測精度を向上させる。理論的に、古典的なペナルティ付き推定器よりも優れた $Ø_1$/$Ø_2$ 推定誤差バウンドと予測誤差レートを確立し、ソースが十分に類似している場合に有効である。また、有用なソースの検出と信頼区間の構築についても理論的裏付けを提供する。

ABSTRACT

In this work, we study the transfer learning problem under high-dimensional generalized linear models (GLMs), which aim to improve the fit on target data by borrowing information from useful source data. Given which sources to transfer, we propose a transfer learning algorithm on GLM, and derive its $\ell_1/\ell_2$-estimation error bounds as well as a bound for a prediction error measure. The theoretical analysis shows that when the target and source are sufficiently close to each other, these bounds could be improved over those of the classical penalized estimator using only target data under mild conditions. When we don't know which sources to transfer, an algorithm-free transferable source detection approach is introduced to detect informative sources. The detection consistency is proved under the high-dimensional GLM transfer learning setting. We also propose an algorithm to construct confidence intervals of each coefficient component, and the corresponding theories are provided. Extensive simulations and a real-data experiment verify the effectiveness of our algorithms. We implement the proposed GLM transfer learning algorithms in a new R package glmtrans, which is available on CRAN.

研究の動機と目的

• 特に複数のソースが関与する状況において、高次元GLMsの転移学習に理論的保証が不足している問題に対処する。
• 関連したが異なる複数のソースデータセットから情報を借りることで、ターゲットタスクにおける推定および予測性能を向上させる。
• 関連性のないソースからの悪影響（ネガティブトランスファー）を軽減するため、有用なソースのみを特定するソース検出手法を開発する。
• 転移学習フレームワーク下で、係数推定値に対する有効な信頼区間を提供する。
• 単一ソースおよび線形モデルに関する既存の研究を、$Ø_1$-スパarsity仮定の下でのマルチソース、高次元GLMsに拡張する。

提案手法

• ターゲットおよびソースデータの両方を統合的に推定するための、尤度関数にペナルティを課す手法に基づくマルチソース転移学習アルゴリズムを提案する。
• ターゲットとソース係数の差分が $Ø_1$-スパースであると仮定し、ソースが類似している場合に推定性能が向上することを可能にする。
• やや厳しい正則化条件下でも最小最大最適性を示す、理論的 $Ø_1$/$Ø_2$ 推定誤差バウンドと予測誤差レートを導出する。
• 主な学習アルゴリズムに依存しない、検定統計量に基づくアルゴリズムフリーのソース検出手順を導入し、転送可能なソースを同定する。
• デバイアス除去技術を用いて個々の係数成分の信頼区間を構築し、理論的裏付けを提供する。
• 実用的な高次元推論のため、Rパッケージ glmtrans をCRANに公開し、実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 複数の関連するソースデータセットが利用可能な状況で、転移学習は高次元GLMsにおける推定精度を向上させることができるか？
• RQ2 どの条件下で、ソースからの情報転送が、ターゲットデータのみを用いた場合よりも優れた推定および予測をもたらすのか？
• RQ3 どのソースが実際に転送可能であるかをどのように特定し、関連性のないソースからの悪影響を回避できるか？
• RQ4 高次元GLMsの転移学習フレームワーク下で、係数推定値に対する有効な信頼区間を構築できるか？
• RQ5 提案手法の誤差率は、仮定されたスパarsity構造のもとで最小最大最適性を満たすか？

主な発見

• ターゲットモデルとソースモデルが十分に類似している場合、提案手法は古典的なペナルティ付き推定器よりも優れた $Ø_1$/$Ø_2$ 推定誤差バウンドを達成する。
• やや厳しい正則化条件下でも、高次元設定下においても、転移学習推定器の予測誤差レートは最小最大最適性を満たす。
• アルゴリズムフリーのソース検出手順は、高次元GLM設定下で検出の一貫性を達成し、有用なソースを正しく同定する。
• 理論的裏付け付きの適切な被覆率を有する、個々の係数成分の信頼区間を構築可能である。
• シミュレーション研究により、関連するソースのみを用いた場合に推定誤差が低減され、ネガティブトランスファーが回避されることを確認した。
• Rパッケージ glmtrans は、提案手法のアルゴリズムを実装しており、再現性のある研究および実用的導入のため、CRANで公開されている。