[論文レビュー] Reduced-rank Regression in Sparse Multivariate Varying-Coefficient Models with High-dimensional Covariates

Heng Lian, Shujie Ma|arXiv (Cornell University)|Sep 24, 2013

Statistical Methods and Inference参考文献 22被引用数 8

ひとこと要約

本稿は、多項スプライン近似、凸でないグループペナルティ、ランク制約を組み合わせることで、同時に変数選択とランク低減を実現する高次元多変量変係数モデルにおける低ランク回帰手法を提案する。この手法は漸近的オラクル性を達成し、非線形相互作用を有する高次元遺伝データにおける効率的な推定を可能にする。

ABSTRACT

In genetic studies, not only can the number of predictors obtained from microarray measurements be extremely large, there can also be multiple response variables. Motivated by such a situation, we consider semiparametric dimension reduction methods in sparse multivariate regression models. Previous studies on joint variable and rank selection have focused on parametric models while here we consider the more challenging varying-coefficient models which make the investigation on nonlinear interactions of variables possible. Spline approximation, rank constraints and concave group penalties are utilized for model estimation. Asymptotic oracle properties of the estimators are presented. We also propose reduced-rank independent screening to deal with the situation when the dimension is so high that penalized estimation cannot be efficiently applied. In simulations, we show the advantages of simultaneously performing variable and rank selection. A real data set is analyzed to illustrate the good prediction performance when incorporating interactions between genetic variables and an index variable.

研究の動機と目的

• 予測子（例：SNP）と応答変数（例：表現型）の両方が多数存在する遺伝学的研究における高次元多変量回帰の課題に対処する。
• パラメトリックモデルの制限を克服するため、遺伝的変数とインデックス変数（例：身体活動レベル）との間の非線形相互作用をモデル化するため、変係数構造を組み込む。
• 高次元設定におけるモデルの単純化と予測精度の向上を目的として、同時に変数選択とランク低減を実行する。
• 罰則付き推定が計算的に非現実的になる超高次元の予測子を扱うために、低ランク独立スクリーニング手順を開発する。

提案手法

• 変係数モデルにおける非パラメトリック係数関数を多項スプライン近似によりモデル化する。
• 凸でないグループペナルティ（例：SCAD や MCP）を適用し、スプライン係数のブロック全体をゼロに縮小することで、同時に変数選択を可能にする。
• 係数行列に明示的な行列分解を用いて低ランク制約を課し、複数の応答間の依存関係を捉える。
• ランク制約とスパarsity制約を含む罰則付き最小二乗最適化問題として推定問題を定式化する。
• 全推定の前段階として、マージナル相関に基づく低ランク独立スクリーニング法を提案し、高次元予測子を事前フィルタリングする。
• 正則性条件の下で推定子の漸近的オラクル性を確立し、変数選択および推定の一致性を示す。

実験結果

リサーチクエスチョン

• RQ1 高次元の予測子を有する多変量変係数モデルにおいて、低ランク回帰とスパース変数選択を効果的に組み合わせることは可能か？
• RQ2 提案手法は、係数関数および係数行列の真のランクを推定する際にオラクル性を達成するか？
• RQ3 罰則付き推定が計算的に非現実的になる高次元設定において、この手法はどのように性能を発揮するか？
• RQ4 提案された低ランク独立スクリーニング法は、重要な予測子を保持しつつ次元削減を効率的に行えるか？
• RQ5 変係数モデルにおけるこの推定子の理論的性能保証（例：収束速度、選択の一貫性）は何か？

主な発見

• 提案手法は漸近的オラクル性を達成しており、真のモデルを一貫して選択し、真のモデルが分かっているかのように係数を効率的に推定できる。
• 推定子の収束速度は $ O_p\big(\sqrt{(q+K)r/n} \cdot \log n\big) $ である。ここで $ q $ は応答変数の数、$ K $ はスプラインのノット数、$ r $ は真のランクを表す。
• この手法は、遺伝データにおいてインデックス変数（例：身体活動レベル）と相互作用する重要なSNPを効果的に同定でき、標準的手法よりも優れた予測性能を示す。
• 低ランク独立スクリーニングは、超高次元の予測子の次元を効果的に削減でき、その後の罰則付き推定を可能にする。
• シミュレーションにより、同時に変数選択とランク低減を行うことで、分離的な選択やパラメトリックモデルに比べてより優れた予測性能が得られることを示した。
• 理論的解析により、モデル選択誤差の確率が指数関数的に減少することが確認され、$ \exp\{-C_2(q+K)r\} + K^2\exp\{-C_4n/K^3\} $ のオーダーの境界が得られた。