[論文レビュー] Regression modeling on stratified data with the lasso

Édouard Ollier, Vivian Viallon|arXiv (Cornell University)|Aug 22, 2015

Statistical Methods and Inference参考文献 33被引用数 9

ひとこと要約

本論文は、基準群の任意選択を回避するラッソに基づく重回帰モデリング手法を提案し、カテゴリカルな共変量と予測子の間の相互作用検出を改善する。この手法は、最適な基準群選択と同等のスパarsity（スパarsity）を達成し、シミュレーションおよび遺伝子発現データにおいて標準的手法を上回る性能を示すが、計算コストは最小限に抑えられる。

ABSTRACT

We consider the estimation of regression models on strata defined using a categorical covariate, in order to identify interactions between this categorical covariate and the other predictors. A basic approach requires the choice of a reference stratum. We show that the performance of a penalized version of this approach depends on this arbitrary choice. We propose a refined approach that bypasses this arbitrary choice, at almost no additional computational cost. Regarding model selection consistency, our proposal mimics the strategy based on an optimal and covariate-specific choice for the reference stratum. Results from an empirical study confirm that our proposal generally outperforms the basic approach in the identification and description of the interactions. An illustration on gene expression data is provided.

研究の動機と目的

• 標準のラッソに基づくアプローチが基準群の選択に強く依存するという階層的回帰における限界を解決すること。
• 最適な、共変量に依存する基準群の選択と同等のスパarsityを達成するが、その最適な基準群が事前に分かっている必要がない手法を開発すること。
• 高次元設定下で、カテゴリカルな効果修正要因と連続予測子の間の相互作用の同定および記述を改善すること。
• 融合ラッソやクライークベース戦略のような既存のペナルティ付き手法と比較して、計算コストが低く、特に群の順序が不明な場合に有効な代替手法を提供すること。
• シミュレーションおよび実世界のデータ（遺伝子発現データを含む）において、優れた性能を示すことを実証すること。ここで、群ごとの相互作用パターンは変動する。

提案手法

• すべての群を対称的に扱う過パrametrized回帰モデルを提案し、単一の基準群に依存しないようにする。
• 群固有の係数とグローバル平均との差分にグループラッソペナルティを適用し、関連する相互作用の同時選択を可能にする。
• ベースライン効果および群固有の乖離係数の両方にスパarsityを促進する修正ラッソ目的関数を用い、モデルの単純性を保証する。
• 2段階推定戦略を採用：まずグローバル平均および乖離係数を推定し、その後ラッソペナルティを適用して非ゼロ成分を同定する。
• 真の最適基準群が不明であっても、最適基準群選択の挙動を模倣する新しいペナルティ構造を導入する。
• 既存のラッソ理論および計算ツールを活用し、標準ラッソに対する追加コストを最小限に抑えつつ、効率的な実装を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラッソに基づく階層的データにおける相互作用モデリングの性能は、基準群の選択に強く依存するか？
• RQ2 最適な基準群の選択が事前に分かっていなくても、その選択と同等のスパarsityを達成できるペナルティ付き回帰手法を設計できるか？
• RQ3 固定基準群を用いた標準ラッソと比較して、提案手法は相互作用検出の正確性および予測誤差においてどのように異なるか？
• RQ4 真の基準群が不明な状況下でも、提案手法がスパarsityを維持する条件は何か？
• RQ5 この手法は、コックス回帰や条件付きロジスティック回帰などの他の回帰モデルへ拡張可能か？同様の理論的保証が得られるか？

主な発見

• 提案手法は、最適な共変量に依存する基準群の選択と同等のスパarsityを達成しているが、そのような基準群は選択していない。
• 実証的結果から、固定基準群を用いた標準ラッソ手法よりも、特に相互作用検出および予測精度において優れた性能を示している。
• 8つの時間ポイント（群）を含む遺伝子発現研究において、EGFR遺伝子と44個の転写因子との間の時間依存的関連性を正常に同定した。
• 二重5分割交差検証の結果、順序情報を利用しない手法の中で、提案手法が予測誤差が最小であり、クライークベース戦略よりも1.8%の改善を示した。
• 群が自然に順序付けられている場合、鎖グラフなどの構造を考慮することでさらなる性能向上が可能であるが、その情報が欠如している状況でも、提案手法は競争力のある性能を維持する。
• 群の数や予測子の数が増加しても、基準群選択へのロバストネスと効率的な計算のおかげで、強固な性能を維持する。