[論文レビュー] Inference for High-dimensional Maximin Effects in Heterogeneous Regression Models Using a Sampling Approach.

Zijian Guo|arXiv (Cornell University)|Nov 15, 2020

Advanced Statistical Methods and Models参考文献 47被引用数 6

ひとこと要約

本稿は、訓練集団とターゲット集団の共変量分布が異なる非定常回帰モデルにおける高次元最大化最小効果の信頼区間を構築するための新しいサンプリング手法を提案する。非定常回帰の共分散行列のバイアス補正推定量とリッジ型集約重みを用いることで、混合分布に従う重みと非正規漸近分布が存在する状況下でも、統計的安定性と推論の妥当性を確保する。

ABSTRACT

Heterogeneity is an important feature of modern data sets and a central task is to extract information from large-scale and heterogeneous data. In this paper, we consider multiple high-dimensional linear models and adopt the definition of maximin effect (Meinshausen, B{u}hlmann, AoS, 43(4), 1801--1830) to summarize the information contained in this heterogeneous model. We define the maximin effect for a targeted population whose covariate distribution is possibly different from that of the observed data. We further introduce a ridge-type maximin effect to simultaneously account for reward optimality and statistical stability. To identify the high-dimensional maximin effect, we estimate the regression covariance matrix by a debiased estimator and use it to construct the aggregation weights for the maximin effect. A main challenge for statistical inference is that the estimated weights might have a mixture distribution and the resulted maximin effect estimator is not necessarily asymptotic normal. To address this, we devise a novel sampling approach to construct the confidence interval for any linear contrast of high-dimensional maximin effects. The coverage and precision properties of the proposed confidence interval are studied. The proposed method is demonstrated over simulations and a genetic data set on yeast colony growth under different environments.

研究の動機と目的

• 訓練集団とターゲット集団の共変量分布が異なる高次元非定常回帰モデルにおける統計的推論の課題に対処すること。
• 予測最適性と統計的安定性を高次元設定でバランスさせるリッジ型最大化最小効果の定義と推定を行うこと。
• 混合分布に従う集約重みと最大化最小効果推定量の非漸近的正規性に強く頑健な信頼区間の構築手法を開発すること。

提案手法

• 観測データとは異なる共変量分布をとるターゲット集団の最大化最小効果を定義すること。
• 高次元設定におけるバイアスを低減するために、回帰共分散行列をバイアス補正推定量で推定すること。
• 最大化最小効果推定量の安定性と最適性を向上させるために、集約重みにリッジ型正則化を導入すること。
• 線形対比のサンプリング分布を近似するための新しいサンプリング手法を提案し、有効な信頼区間の構築を可能にすること。
• サンプリング分布を用いて、推定された重みが混合分布に従う場合でも、カバレッジと精度を維持する信頼区間を構築すること。
• 環境変動下でのイーストコロニー成長の遺伝子データセットへの応用とシミュレーションを通じて、手法の妥当性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 ターゲット集団の共変量分布が観測データと異なる高次元回帰モデルにおいて、どのようにして最大化最小効果を信頼性高く推定できるか？
• RQ2 混合分布に従う集約重みが最大化最小効果推定量の漸近分布に与える影響は何か？ また、その影響を受けても推論をどのように有効にするか？
• RQ3 リッジ型正則化は高次元設定における最大化最小効果推定量の安定性と最適性を向上させることができるか？
• RQ4 提案されたサンプリング手法は、最大化最小効果の線形対比の信頼区間において、カバレッジと精度の両面でどの程度の性能を示すか？
• RQ5 環境変動下の遺伝子データなどの実世界の高次元非定常データにおいて、この手法の実効的性能は何か？

主な発見

• 提案されたサンプリング手法は、集約重みが混合分布に従い、最大化最小効果推定量が漸近的に正規でない場合でも、正確なカバレッジを有する信頼区間を構築できることを示した。
• リッジ型最大化最小効果推定量は、予測性能と分散のバランスを取ることで、高次元設定における安定性と最適性が向上していることが明らかになった。
• 回帰共分散行列のバイアス補正推定はバイアスを効果的に低減し、高次元モデルにおける信頼性のある推論を可能にした。
• シミュレーションの結果、本手法はさまざまな高次元的・非定常的状況下でも適切なカバレッジ率と精度を維持していることが確認された。
• イースト遺伝子データの応用において、本手法は異なる環境条件下で一貫した最大化最小効果を同定し、実世界の非定常データにおける実用的有用性を示した。