[論文レビュー] Robust angle-based transfer learning in high dimensions

Tian Gu, Yi Han+1 more|arXiv (Cornell University)|Oct 23, 2022

Cancer-related molecular mechanisms research被引用数 5

ひとこと要約

本稿では、個別レベルのデータを必要とせず、事前学習済みのソースモデルのパラメータを活用する、高次元回帰におけるロバストで閉形式の転移学習手法であるangleTLを提案する。角度類似度を用いてソースモデルとターゲットモデルの係数の類似性を活用することで、予測精度を段階的に向上させ、負の転移を防ぎ、シミュレーションおよびバイオバンクにおける実世界の遺伝的リスク予測の両方で、ベンチマーク手法を上回る性能を発揮する。

ABSTRACT

Transfer learning aims to improve the performance of a target model by leveraging data from related source populations, which is known to be especially helpful in cases with insufficient target data. In this paper, we study the problem of how to train a high-dimensional ridge regression model using limited target data and existing regression models trained in heterogeneous source populations. We consider a practical setting where only the parameter estimates of the fitted source models are accessible, instead of the individual-level source data. Under the setting with only one source model, we propose a novel flexible angle-based transfer learning (angleTL) method, which leverages the concordance between the source and the target model parameters. We show that angleTL unifies several benchmark methods by construction, including the target-only model trained using target data alone, the source model fitted on source data, and distance-based transfer learning method that incorporates the source parameter estimates and the target data under a distance-based similarity constraint. We also provide algorithms to effectively incorporate multiple source models accounting for the fact that some source models may be more helpful than others. Our high-dimensional asymptotic analysis provides interpretations and insights regarding when a source model can be helpful to the target model, and demonstrates the superiority of angleTL over other benchmark methods. We perform extensive simulation studies to validate our theoretical conclusions and show the feasibility of applying angleTL to transfer existing genetic risk prediction models across multiple biobanks.

研究の動機と目的

• 事前学習済みのソースモデルのパラメータのみが利用可能であり、ターゲットデータが限られている状況において、高次元回帰モデルを学習する課題に対処すること。
• 個別レベルのソースデータが入手不可である状況でも、ソース集団とターゲット集団が非同一である場合に生じる負の転移を防ぐ手法を開発すること。
• ソースモデルとターゲットモデルのパラメータの整合性を角度ベースの類似度で捉えることで、既存のベンチマーク手法を統合・改善するフレームワークを構築すること。
• ソースモデルの有用性を考慮した重み付き集約戦略を導入することで、複数のソースモデルを統合するフレームワークを拡張すること。
• angleTLの理論的裏付けと実世界のバイオバンクデータ応用における実証的妥当性を、多様なシミュレーション設定と実データ応用において提供すること。

提案手法

• 本手法は、ターゲット係数ベクトルとソースモデル推定値との間のコサイン類似度（角度）に基づく新しいペナルティ項を導入し、ソースとターゲットのパラメータが整合的である場合にその整合性を促進する。
• 目的関数は、標準の最小二乗損失と正則化項を組み合わせたもので、$\lambda\|\boldsymbol{\beta}\|_{2}^{2} - 2\eta\hat{\mathbf{w}}^{\top}\boldsymbol{\beta}$ となる。ここで $\hat{\mathbf{w}}$ はソースモデルの推定値であり、$\eta$ はソースの影響度を制御する。
• 反復的最適化や個別レベルのデータへのアクセスを必要とせず、効率的な計算が可能な閉形式解が導出可能である。
• 複数のソースに対しては、各ソースモデルがターゲットとどれほど類似しているかを考慮した重み付き平均による集約を実施し、重みは角度による整合性に基づいて決定される。
• 高次元漸近的枠組みにおける理論的分析により、ソースモデルが有益となる条件を特定し、信号強度、ノイズレベル、次元数といった重要な要因を同定する。
• 出力値ベースの類似度またはランク比較に基づく類似度測定に適応することで、分類タスクへの応用を拡張し、角度ベースの正則化フレームワークを維持する。

実験結果

リサーチクエスチョン

• RQ1 限られたデータ量の高次元設定において、事前学習済みのソースモデルがターゲットモデルの性能向上に寄与するのはどのような条件下か？
• RQ2 ソースとターゲットのモデルが整合性が低い場合に、集団の非同一性に強く耐性を持つ転移学習はどのように実現できるか？
• RQ3 信号強度、ノイズレベル、モデル次元数が、角度ベースの転移学習の性能に与える影響は何か？
• RQ4 複数のソースモデルのターゲットに対する有用性が異なる場合、最適に統合する方法は何か？
• RQ5 類似しないソース集団からの情報を統合する際、angleTLは負の転移を防げるか？

主な発見

• angleTLは、ソースとターゲットのパラメータが中程度に整合的である場合を除き、広範なシミュレーション設定において、ターゲットのみ、またはソースのみのモデルを含むベンチマーク手法を常に上回る性能を示す。
• 角度類似度が低いソースは低重み化されることで、負の転移が防止され、ソースデータが関連性がなかったり、集団が非同一であっても性能が低下しない。
• 理論的分析により、angleTLの性能は信号強度と次元数に適応的であり、ターゲットの信号が強く、次元数とサンプルサイズの比が中程度である場合には、推定性能が向上することが示された。
• 実世界の応用では、複数のバイオバンク間で遺伝的リスク予測モデルを効果的に転送でき、実用性とロバスト性を実証した。
• 閉形式解により、反復的通信や個別レベルのデータを必要とせず、プライバシー保護の環境に適した効率的実装が可能である。
• 出力値ベースの類似度測定を用いた分類タスクへの拡張は有望であり、シミュレーション結果から、線形回帰を超えるフレキシビリティが確認された。