[論文レビュー] Individualized Multi-directional Variable Selection

Xiwei Tang, Xue, Fei+1 more|arXiv (Cornell University)|Sep 15, 2017

Statistical Methods and Inference参考文献 44被引用数 7

ひとこと要約

本稿は、縦断的かつ多様性のあるデータ設定において、予測精度と推定効率を向上させる、個別化された多方向変数選択手法を提案する。この手法は、個々の個人に特有の特徴選択と、類似した共変数効果を示す個人のサブグループ化を同時に実行する。多方向への縮小ペナルティを導入することで、各個人に固有の関連する予測子を同定しつつ、サブグループ間で強度を借りることで、予測精度と推定効率を向上させる。

ABSTRACT

In this paper we propose a heterogeneous modeling framework which achieves individual-wise feature selection and individualized covariates' effects subgrouping simultaneously. In contrast to conventional model selection approaches, the new approach constructs a separation penalty with multi-directional shrinkages, which facilitates individualized modeling to distinguish strong signals from noisy ones and selects different relevant variables for different individuals. Meanwhile, the proposed model identifies subgroups among which individuals share similar covariates' effects, and thus improves individualized estimation efficiency and feature selection accuracy. Moreover, the proposed model also incorporates within-individual correlation for longitudinal data to gain extra efficiency. We provide a general theoretical foundation under a double-divergence modeling framework where the number of individuals and the number of individual-wise measurements can both diverge, which enables inference on both an individual level and a population level. In particular, we establish strong oracle property for the individualized estimator to ensure its optimal large sample property under various conditions. An efficient ADMM algorithm is developed for computational scalability. Simulation studies and applications to post-trauma mental disorder analysis with genetic variation and an HIV longitudinal treatment study are illustrated to compare the new approach to existing methods.

研究の動機と目的

• 従来の集団レベルのモデルが個別化された予測子の重要性や多様な治療効果を捉えきれていないという限界に対処すること。
• 個別化された変数選択と、類似した共変数効果を持つサブグループの同定を同時に実行する手法を開発し、推定の効率性と精度を向上させること。
• 縦断的データにおける個体内相関を組み込むことで、独立誤差仮定を越えたモデルの効率性を向上させること。
• 個々の個人の数と個別レベルの測定数の両方が増加する二重発散フレームワークの下で理論的基盤を確立すること。
• 個別化推定子に対して強いオラクル性を達成し、さまざまな正則性条件の下で最適な漸近的性能を保証すること。

提案手法

• 複数の方向へ縮小することができる多方向分離ペナルティを提案。ゼロへのみではなく、複数の方向への縮小を可能とし、強力な信号とノイズの柔軟な同定を可能にする。
• 個々の個人の数と個人内測定数の両方が発散する二重発散漸近的フレームワークを用い、個別および集団レベルの推論をサポートする。
• 縦断的データにおける個体内自己相関を組み込むことで、i.i.d.仮定を越えた推定効率を向上させる。
• 効率的な計算のためADMMアルゴリズムを採用。大規模データセットへのスケーラビリティを実現。
• 回帰係数のパターンが類似する個人をクラスタリングすることでサブグループを同定。ペナルティ構造を用いてグループ内の一貫性を促進。
• 個別化された予測子と集団共有予測子を統合的なモデルに統合。将来的には高次元設定への拡張を想定。

実験結果

リサーチクエスチョン

• RQ1 1つの統計的枠組みが、多様な共変数効果に基づいて、同時に個別化された変数選択とサブグループ同定を実行できるか。
• RQ2 ゼロへのみ縮小する従来の凸ペナルティと比較して、多方向への縮小は推定精度をどのように向上させ、バイアスをどのように低減するか。
• RQ3 個別レベルのサンプルサイズが発散する二重発散フレームワーク下で、個別化推定子の漸近的挙動はどのようになるか。
• RQ4 縦断的データにおける個体内相関を組み込むことで、推定効率とモデル性能はどのように変化するか。
• RQ5 実世界のバイオメディカルデータにおいて、提案手法は既存の手法に比べて、個人化予測とサブグループ検出の両面でどの程度優れているか。

主な発見

• PTSD遺伝学的研究において、MDSPモデルは混合モデルに比べて予測RMSEを15%低減し、均一モデルに比べて32%低減した。
• MDSPモデルは、それぞれ34.2%から40.4%のサンプルを占める3つのサブグループで顕著な非ゼロ効果を示すCpG部位（cg03256465、cg03762702、cg06473843）を的確に同定した。
• これに対して、混合モデルは1つのサブグループでのみ1つの有意なCpG部位（cg0647384）を同定しており、サブグループ化の情報量が少ないことが示された。
• 提案手法は強いオラクル性を達成しており、真のサブ集団情報が分かっている場合に最適な収束速度を保証している。
• HIV縦断的研究において、提案手法は、より優れたモデルフィットとサブグループの解釈可能性を示し、多様な治療効果の検出において優れた性能を発揮した。
• 理論的結果として、サンプルサイズの増加に伴い、個別化パrameterの次元の最適な発散レートが確立され、高次元設定におけるスケーラビリティを支持する。