[論文レビュー] A Two-Stage Penalized Least Squares Method for Constructing Large Systems of Structural Equations

Chen Chen, Min Ren+2 more|arXiv (Cornell University)|Nov 1, 2015

Spectroscopy and Chemometric Analyses被引用数 16

ひとこと要約

本稿では、高次元の内生変数および外生変数を有する大規模構造方程式モデルを構築するための2段階罰則付き最小二乗法を提案する。最初の段階でリッジ回帰を用いて条件付き期待値を推定し、2番目の段階で適応ラassoを用いて一貫性のある変数選択を実現することで、モデルの一貫性、計算効率性、並列処理可能性を達成し、遺伝子調節ネットワークのような大規模システムにおける信頼性の高い推論を可能にする。

ABSTRACT

We propose a two-stage penalized least squares method to build large systems of structural equations based on the instrumental variables view of the classical two-stage least squares method. We show that, with large numbers of endogenous and exogenous variables, the system can be constructed via consistent estimation of a set of conditional expectations at the first stage, and consistent selection of regulatory effects at the second stage. While the consistent estimation at the first stage can be obtained via the ridge regression, the adaptive lasso is employed at the second stage to achieve the consistent selection. The resultant estimates of regulatory effects enjoy the oracle properties. This method is computationally fast and allows for parallel implementation. We demonstrate its effectiveness via simulation studies and real data analysis.

研究の動機と目的

• 内生変数および外生変数の両方が高次元である場合に、大規模な構造方程式系を構築する課題に対処すること。
• 高次元設定下で全情報尤度法の計算上的不実行性を克服すること。
• 大規模システムにおける調節効果および因果効果の一貫性のある推定を可能にする手法を開発すること。
• 遺伝子調節ネットワーク推論などの応用を想定し、変数選択の一貫性と計算スケーラビリティを保証すること。

提案手法

• 本手法は、古典的な2段階最小二乗法（2SLS）にインspiredされた2段階フレームワークを採用する。
• 最初の段階では、内生変数の外生変数に関する条件付き期待値を推定するためにリッジ回帰が用いられ、高次元設定下でも一貫性のある推定を保証する。
• 2番目の段階では、推定された回帰子に適応ラassoを適用し、不要な係数を0に縮小することで一貫性のある変数選択を達成する。
• 本手法は、外生変数を道具変数として用いる道具変数フレームワークを活用し、構造方程式における内生性を解消する。
• 本手法は計算的に効率的であり、複数の式にわたる並列実装を可能にする。
• KKT条件および漸近的解析を通じて理論的整合性が確立され、標本サイズが増加するにつれて真のモデル構造を高確率で回復することが示された。

実験結果

リサーチクエスチョン

• RQ1 高次元の内生変数および外生変数を有する大規模な構造方程式系において、2段階罰則付き最小二乗法が調節効果および因果効果を一貫して推定できるか？
• RQ2 最初の段階でリッジ回帰を用いることで、高次元設定下でも条件付き期待値の一貫性のある推定が保証されるか？
• RQ3 2番目の段階で適応ラassoを用いることで、真のスパース構造を回復する一貫性のある変数選択が達成できるか？
• RQ4 全情報尤度法や個別方程式のフィッティングと比較して、本手法の計算効率性およびスケーラビリティはどの程度か？
• RQ5 本手法がモデル選択の一貫性およびパラメータ推定の一貫性を達成する理論的条件は何か？

主な発見

• 本手法はモデル選択の一貫性を達成し、標本サイズが増加するにつれて、推定された調節効果行列のサポートが真のサポートと一致する確率が高くなる。
• 最初の段階のリッジ回帰は、内生変数および外生変数の数が標本サイズとともに増加する状況下でも、縮小形係数の一貫性のある推定を提供する。
• 2番目の段階の適応ラassoは、すべての非ゼロ係数を一貫して推定し、すべてのゼロ係数を正しく0に設定する。
• 理論的解析により、推定量がKKT条件を満たし、係数の真の符号パターンを回復することが確認され、正しい変数選択が保証される。
• 本手法は計算的に効率的であり、並列実装が容易であるため、ゲノムワイドな遺伝子調節ネットワークのような大規模システムに適している。
• シミュレーション研究および実データ解析により、本手法が真のネットワーク構造を効果的に回復でき、既存の代替手法を高次元設定下で上回ることが示された。