[論文レビュー] Doubly Robust Covariate Shift Regression with Semi-nonparametric Nuisance Models

Molei Liu, Yi Zhang+1 more|arXiv (Cornell University)|Oct 6, 2020

Statistical Methods and Inference参考文献 58被引用数 4

ひとこと要約

本稿では、応答変数の半非パラメトリック補完モデルと重み付けを組み合わせた二重ロバスト共変量シフト回帰法を提案する。この手法は、モデル誤指定に対する感受性と次元の呪いの両方を軽減する。少なくとも1つの正規化モデルが正しい場合、根nの一致性が保証され、非パラメトリック推定においてレート・ダブルロバスト性を達成する。シミュレーションおよび双極性障害の表型特定における実世界の転移学習において、パラメトリックおよび完全非パラメトリック手法を上回る性能を示す。

ABSTRACT

In contemporary statistical learning, covariate shift correction plays an important role when distribution of the testing data is shifted from the training data. Importance weighting is used to adjust for this but is not robust to model misspecifcation or excessive estimation error. In this paper, we propose a doubly robust covariate shift regression approach that introduces an imputation model for the targeted response, and uses it to augment the importance weighting equation. With a novel semi-nonparametric construction for the two nuisance models, our method is less prone to the curse of dimensionality compared to the nonparametric approaches, and is less prone to model mis-specification than the parametric approach. To remove the overfitting bias of the nonparametric components under potential model mis-specification, we construct calibrated moment estimating equations for the semi-nonparametric models. We show that our estimator is root-n consistent when at least one nuisance model is correctly specified, estimation for the parametric part of the nuisance models achieves parametric rate, and the nonparametric components are rate doubly robust. Simulation studies demonstrate that our method is more robust and efficient than existing parametric and fully nonparametric (machine learning) estimators under various configurations. We also examine the utility of our method through a real example about transfer learning of phenotyping algorithm for bipolar disorder. Finally, we propose ways to improve the (intrinsic) efficiency of our estimator and to incorporate high dimensional or machine learning models with our proposed framework.

研究の動機と目的

• 訓練データの分布とは異なるテストデータの分布を伴う統計的学習における共変量シフトに対処すること。
• モデル誤指定や推定誤差に対して感受性が高く、脆弱な重み付け手法の限界を克服すること。
• 完全非パラメトリック手法に共通する次元の呪いを軽減しながら、モデル誤指定に対してロバストであることを維持すること。
• 2つの正規化モデル（重み付けモデルまたは補完モデル）のうち1つが誤指定であっても一貫性を保つ手法を開発すること。
• 推定効率性を向上させ、高次元または機械学習モデルの統合を可能とすること。

提案手法

• 応答変数のための半非パラメトリック補完モデルを重み付け方程式に組み込むことで、二重ロバスト推定量を提案する。
• 重み付けモデルおよび補完モデルの両方に対して、パラメトリックおよび非パラメトリック成分を組み合わせた新しい半非パラメトリック構成を用いる。
• 潜在的なモデル誤指定下で非パラメトリック成分の過適合バイアスを是正するため、補正済みモーメント推定方程式を構築する。
• 少なくとも1つの正規化モデルが正しく指定されている場合に、根nの一貫性を保証する。
• パラメトリック部分の推定はパラメトリックレートの収束を達成し、非パラメトリック成分はレート・ダブルロバスト収束を達成する。
• 高次元または機械学習モデルを正規化推定プロセスに統合するためのフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 半非パラメトリックアプローチは、共変量シフト補正において次元の呪いを軽減しながら、モデル誤指定に対してロバスト性を維持できるか？
• RQ2 2つの正規化モデルのうち1つだけが正しく指定されている場合、提案手法は根nの一貫性を達成するか？
• RQ3 補正済みモーメント推定は、モデル誤指定下で非パラメトリック成分のバイアス補正をどのように改善するか？
• RQ4 さまざまなデータ構成において、既存のパラメトリックおよび完全非パラメトリック推定量と比較して、本手法はロバスト性と効率性の両面で優れているか？
• RQ5 高次元または機械学習モデルは、正規化モデル推定フレームワークに効果的に統合できるか？

主な発見

• 提案された推定量は、少なくとも2つの正規化モデル（重み付けモデルまたは補完モデル）のうち1つが正しく指定されている場合、根nの一貫性を達成する。
• 正規化モデルのパラメトリック成分の推定は、パラメトリックレートの収束を達成する。
• 正規化モデルの非パラメトリック成分は、レート・ダブルロバスト性を示し、1つのモデルが誤指定であっても収束レートが損なわれない。
• シミュレーション研究では、さまざまな分布シフトおよびモデル誤指定の下で、本手法はパラメトリックおよび完全非パラメトリック推定量よりもよりロバストで効率的であることが示された。
• 双極性障害の表型特定における実世界の転移学習応用において、本手法はベースライン手法を上回る性能を示した。
• 本稿では、推定量の内在的効率性を効果的に向上させる改良を提案し、機械学習モデルをフレームワークに統合する道筋を提示した。