[論文レビュー] Augmented Transfer Regression Learning with Semi-non-parametric Nuisance Models

Molei Liu, Yi Zhang+2 more|arXiv (Cornell University)|Oct 6, 2020

Statistical Methods and Inference被引用数 8

ひとこと要約

本稿では、重要度重み付けとアウトカム補完モデルを組み合わせることで、分布シフトの是正を強化する半非パラメトリック手法である拡張型転移回帰学習（ATReL）を提案する。この手法は、少なくとも一方のノイズモデル（重要度重みまたはアウトカムモデル）が正しく指定されていれば有効であるという$n^{1/2}$-一貫性およびレート二重ロバスト性を達成し、次元の呪いとモデル誤指定の問題を軽減する。

ABSTRACT

In contemporary statistical learning, covariate shift correction plays an important role in transfer learning when distribution of the testing data is shifted from the training data. Importance weighting, as a natural and principle strategy to adjust for covariate shift, has been commonly used in the field of transfer learning. However, this strategy is not robust to model misspecification or excessive estimation error. In this paper, we propose an augmented transfer regression learning (ATReL) approach that introduces an imputation model for the targeted response, and uses it to augment the importance weighting equation. With novel semi-non-parametric constructions and calibrated moment estimating equations for the two nuisance models, our ATReL method is less prone to (i) the curse of dimensionality compared to nonparametric approaches, and (ii) model mis-specification than parametric approaches. We show that our ATReL estimator is root-n-consistent when at least one nuisance model is correctly specified, estimation for the parametric part of the nuisance models achieves parametric rate, and the nonparametric components are rate doubly robust. Simulation studies demonstrate that our method is more robust and efficient than existing parametric and fully nonparametric (machine learning) estimators under various configurations. We also examine the utility of our method through a real example about transfer learning of phenotyping algorithm for rheumatoid arthritis across different time windows. Finally, we propose ways to enhance the intrinsic efficiency of our estimator and to incorporate modern machine learning methods with our proposed framework.

研究の動機と目的

• 訓練データとテストデータの分布が異なる共変量シフトの問題に取り組む。特に、電子歴史記録（EHR）を用いた表現型抽出のような生物医学的応用分野を想定する。
• モデル誤指定や高次元推定誤差に対して感受性が強い標準的重み付け手法の限界を克服する。
• ノイズモデル（重要度重みまたはアウトカム）の一方が誤って指定されていても、統計的妥当性と効率性を維持する手法を開発する。
• 柔軟性と解釈可能性のバランスをとる半非パラメトリックフレームワークを導入し、完全非パラメトリック手法に見られる次元の呪いを回避する。
• 実世界の設定、特に電子歴史記録（EHR）を用いたリウマチ性関節炎の予測など、異なる病院間での予測において、転移学習のロバスト性と効率性を向上させる。

提案手法

• 推定の安定性を向上させるために、重要度重み付けと応答変数の補完モデルを組み合わせた拡張推定方程式を提案する。
• ノイズモデルの両方を半非パラメトリックに構築する：解釈可能性のためのパラメトリック成分と柔軟性のための非パラメトリック成分（スプラインやカーネルマシンなど）を併用する。
• 正則性条件下で二重ロバスト性およびレート二重ロバスト性を保証するように、補正されたモーメント推定方程式を定式化する。
• 正則化回帰やカーネルマシンなどの現代の機械学習技術を用いてノイズモデルを推定し、複雑なデータ構造への適応性を高める。
• 少なくとも一方のノイズモデルが正しく指定されていれば、ATReL推定量が$n^{1/2}$-一貫性を示し、パラメトリック成分がパラメトリック収束速度を達成することを保証する。
• 最終推定量の精度を損なわずにロバスト性を保つために、効率性補強技術を統合する。

実験結果

リサーチクエスチョン

• RQ1 重要度重みまたはアウトカムモデルのいずれかが誤って指定されていても、共変量シフト下で一貫的かつ効率的な推論が可能な転移学習手法は構築可能か？
• RQ2 半非パラメトリックモデリングは、高次元設定下で次元の呪いを軽減しつつ、モデル誤指定に対してロバストであるか？
• RQ3 有限サンプルにおいて、提案手法ATReLは完全パラメトリックおよび完全非パラメトリック推定量と比較して、バイアス、分散、信頼区間のカバレッジにおいてどの程度優れているか？
• RQ4 ノイズモデル推定に機械学習手法（例：カーネルマシン、スプライン）を統合することで、実世界の生物医学的データにおける性能はどのように向上するか？
• RQ5 提案フレームワークは、内在的効率性の向上を可能とし、大規模なEHR応用に適した柔軟かつスケーラブルな実装をサポートできるか？

主な発見

• ATReLは$n^{1/2}$-一貫性およびレート二重ロバスト性を達成し、少なくとも一方のノイズモデル（重要度重みまたはアウトカム）が正しく指定されていれば、有効な推論が保証される。
• シミュレーション研究において、ATReLはパラメトリックおよび完全非パラメトリック手法と比較して優れた性能を示し、RMSE（例：$\beta_0$ では 0.113）が低く、カバレッジ（CP = 0.95）が高かった。
• 設定（iii）下で、$\beta_1$ の推定において、バイアスが-0.014（パラメトリック：-0.052、DML BE：-0.064）にまで低減された。
• 実世界のリウマチ性関節炎表現型抽出の事例では、ATReLは他の手法と比較してより安定的かつ解釈可能な係数推定値（例：$\beta_2 = 1.39$）を生成した。
• モデル誤指定下でも、すべてのパrameterで高いカバレッジ（CP ≥ 0.91）を維持し、一部の設定ではDML BE（CP = 0.73）を上回った。
• 特に高次元または複雑な条件付きアウトカム構造下では、ノイズモデルに機械学習手法を統合することで、効率性の向上が観察された。