[論文レビュー] Semi-supervised Triply Robust Inductive Transfer Learning

Tianxi Cai, Mengyan Li+1 more|arXiv (Cornell University)|Sep 12, 2022

Cancer-related molecular mechanisms research被引用数 4

ひとこと要約

本稿では、高次元の共変量シフト下で、ラベル付きのソース集団からのデータとラベルなしのターゲット集団からのデータを統合することで、代表されない集団における予測精度を向上させる、半教師ありで三重に頑健な誘導的転移学習手法であるSTRIFLEを提案する。密度比モデルと補完モデルを組み合わせることで、悪化するノイズモデルが2つとも誤りであっても、誤差が無視できる範囲で、ターゲットのみの半教師あり学習よりも性能が劣らないことを保証する。

ABSTRACT

In this work, we propose a Semi-supervised Triply Robust Inductive transFer LEarning (STRIFLE) approach, which integrates heterogeneous data from a label-rich source population and a label-scarce target population and utilizes a large amount of unlabeled data simultaneously to improve the learning accuracy in the target population. Specifically, we consider a high dimensional covariate shift setting and employ two nuisance models, a density ratio model and an imputation model, to combine transfer learning and surrogate-assisted semi-supervised learning strategies effectively and achieve triple robustness. While the STRIFLE approach assumes the target and source populations to share the same conditional distribution of outcome Y given both the surrogate features S and predictors X, it allows the true underlying model of Y|X to differ between the two populations due to the potential covariate shift in S and X. Different from double robustness, even if both nuisance models are misspecified or the distribution of Y|(S, X) is not the same between the two populations, the triply robust STRIFLE estimator can still partially use the source population when the shifted source population and the target population share enough similarities. Moreover, it is guaranteed to be no worse than the target-only surrogate-assisted semi-supervised estimator with an additional error term from transferability detection. These desirable properties of our estimator are established theoretically and verified in finite samples via extensive simulation studies. We utilize the STRIFLE estimator to train a Type II diabetes polygenic risk prediction model for the African American target population by transferring knowledge from electronic health records linked genomic data observed in a larger European source population.

研究の動機と目的

• 精密医療におけるデータの非同一性と共変量シフトによって引き起こされる、代表されない集団における性能の低さという課題に対処する。
• 豊富なラベルなしデータを活用した補助特徴を用いた半教師あり学習により、臨床的アウトカムのラベルが不足する問題を克服する。
• 密度比モデルと補完モデルの両方が誤って指定された場合でも、正確な精度を維持できる転移学習フレームワークを開発する。
• モデル誤指定の下でも、推定器がターゲットのみの半教師あり学習よりも劣らないことを保証する。
• ラベル豊富な大規模なソース集団から知識を転移することで、ターゲット集団における高次元リスク予測を可能にする。

提案手法

• 高次元の共変量シフト設定下で、ラベル豊富なソース集団とラベルが乏しいターゲット集団からの異種データを統合する。
• 2つのノイズモデルを用いる：ソースとターゲット間の共変量シフトを補正するための密度比モデルと、補助特徴を用いてアウトカムを予測する補完モデル。
• 二重に頑健な推定方程式を通じて、転移学習と補助特徴を用いた半教師あり学習を統合し、三重の頑健性を達成する。
• 2つのノイズモデルのいずれかが正しく指定されていれば、推定器が一貫性を保つことを保証する。あるいは、予測子と補助特徴の下でのアウトカムの条件付き分布が両集団で同一であればよい。
• 高次元の予測子と補助特徴を扱うために、罰則付き推定方程式アプローチを用い、高次元設定における変数選択と推定を可能にする。
• 十分な集団類似性がある条件下で、両ノイズモデルが誤って指定された場合でも、最終的な推定器はターゲットのみの半教師あり推定器よりも劣らないことが保証される。

Figure 1: The estimates of ${\bm{\beta}}_{0}$ for top signals with absolute magnitude above 0.1 from SUP, CS, SUPTrans, SAS, and STIFLE with SUPSource as a reference.

実験結果

リサーチクエスチョン

• RQ1 密度比モデルと補完モデルの両方が誤って指定された場合でも、転移学習手法がターゲット集団で性能を維持できるか。
• RQ2 モデル誤指定の下で、提案されたSTRIFLE推定器はターゲットのみの半教師あり学習と比べて推定精度がどの程度優れているか。
• RQ3 大規模でラベル豊富なソース集団からの知識が、共変量シフトがあるにもかかわらず、ラベルが乏しい小規模なターゲット集団における予測精度をどの程度向上できるか。
• RQ4 STRIFLEの三重の頑健性特性が、予測子と補助特徴の下でのアウトカムの条件付き分布がソース集団とターゲット集団で異なる場合でも、信頼性のある性能を保証するか。
• RQ5 予測子と補助特徴の数がラベル付き観察数を上回る高次元設定において、STRIFLEはどの程度効果的か。

主な発見

• STRIFLEは三重の頑健性を達成する：2つのノイズモデル（密度比モデルまたは補完モデル）のいずれかが正しく指定されていれば、推定器は一貫性を保つ。
• 両ノイズモデルが誤って指定されており、かつ予測子と補助特徴の下でのアウトカムの条件付き分布が両集団で異なる場合でも、STRIFLEはターゲットのみの半教師あり推定器よりも性能が劣らず、誤差は無視できる範囲にとどまる。
• シミュレーションでは、STRIFLEは欧州系由来の大規模なソース集団から知識を転移することで、アフリカ系アメリカ人のタイプII糖尿病多遺伝子リスクスコアの予測精度を著しく向上させた。
• この手法は、rs7903146、rs174546、rs1559474といった主要な遺伝的マーカーを、アフリカ系アメリカ人の集団において有意な予測因子として特定し、既知の生物学的関連性と整合する効果推定値を得た。
• シミュレーション研究および実世界の応用において、STRIFLE推定器はベースライン手法を上回る性能を示した。特に、高次元および共変量シフトの条件下で顕著な優位性を示した。
• 複数のシミュレーションシナリオを通じて、STRIFLEの頑健性が、異種的かつ限られたデータを伴う実用的精密医療設定で確認された。