[論文レビュー] Non-asymptotic Oracle Inequalities for the High-Dimensional Cox Regression via Lasso

Shengchun Kong, Bin Nan|arXiv (Cornell University)|Apr 9, 2012

Statistical Methods and Inference参考文献 11被引用数 21

ひとこと要約

本稿は、lasso正則化を用いた高次元Cox回帰における非漸近的オラクル不等式を確立し、非i.i.d.かつ非リプシッツな部分尤度損失の課題を、負の対数部分尤度をi.i.i.d.な代替損失関数に近似することで克服する。主な貢献は、lasso推定量が真のスパースモデルを知っているオラクルと同等の推定誤差および予測誤差率を達成することを示す有限サンプルバウンドを示したことにある。

ABSTRACT

We consider the finite sample properties of the regularized high-dimensional Cox regression via lasso. Existing literature focuses on linear models or generalized linear models with Lipschitz loss functions, where the empirical risk functions are the summations of independent and identically distributed (iid) losses. The summands in the negative log partial likelihood function for censored survival data, however, are neither iid nor Lipschitz. We first approximate the negative log partial likelihood function by a sum of iid non-Lipschitz terms, then derive the non-asymptotic oracle inequalities for the lasso penalized Cox regression using pointwise arguments to tackle the difficulty caused by the lack of iid and Lipschitz property.

研究の動機と目的

• 高次元Cox回帰におけるlasso正則化の有限サンプル理論の欠如に取り組むこと、特に損失関数がi.i.d.およびリプシッツ性を満たさない場合に焦点を当てる。
• 右側打ち切り生存データにおける負の対数部分尤度の非i.i.i.d.および非リプシッツ性に起因する理論的課題を克服すること。
• 高次元設定下でのlasso推定量の超過リスクおよび推定誤差をバウンドする非漸近的オラクル不等式を導出すること。
• lassoの変数選択および推定の一致性に関する厳密な有限サンプル解析を提供し、一般化線形モデルの結果を生存分析に拡張すること。

提案手法

• 母集団期待値に基づく代替経験損失関数を用いて、非i.i.i.d.な負の対数部分尤度を近似し、理論的解析に適したi.i.i.d.構造を構築する。
• 期待値が $ l(\theta) = P\gamma_{f_{\theta}} $ であるような作業損失関数 $ \gamma_{f_{\theta}} $ を導入し、非リプシッツ性に対処するための点ごとの議論を可能にする。
• van de Geer (2008) のリプシッツ条件の代わりに有界性仮定を導入し、より弱い正則性条件のもとでの解析を可能にする。
• パラメータ空間のエントロピーを制御するために、球の幾何的等比列を用いたチェインニングのアプローチを採用し、リプシッツ連続性の必要性を回避する。
• ペーリング装置と集中不等式を用いて、超過リスク $ \hat{\mathcal{E}} $ および推定誤差の $ \ell_1 $-ノルム $ I(\hat{\theta}_n - \theta_n^*) $ に対する高確率バウンドを導出する。
• lasso正則化におけるランダム重みを扱うために、van de Geer (2008) のテール確率バウンドを適応させ、最終的なオラクル不等式が高確率で成立することを保証する。

実験結果

リサーチクエスチョン

• RQ1 非i.i.i.d.かつ非リプシッツな部分尤度の下で、高次元Cox回帰におけるlassoの非漸近的オラクル不等式を確立できるか？
• RQ2 一般化線形モデルの理論枠組みを、打ち切りデータを伴う生存モデルにどのように適応できるか？
• RQ3 高次元スパース性の下で、lasso推定量の有限サンプル性能（超過リスクおよび推定誤差）はどのように評価できるか？
• RQ4 lasso正則化におけるランダム重みが集中バウンドおよび最終的なオラクル不等式に与える影響は何か？
• RQ5 真の負の対数部分尤度を近似しつつ、i.i.i.d.構造を保持する代替損失関数を構築できるか？

主な発見

• 本稿は、超過リスクが高確率で $ \hat{\mathcal{E}} \leq \frac{1}{1-\delta} \epsilon_n^* $ を満たす非漸近的オラクル不等式を確立した。ここで $ \epsilon_n^* $ はモデルの複雑さとスパarsityに関連する項である。
• 推定誤差の $ \ell_1 $-ノルムは、高確率で $ I(\hat{\theta}_n - \theta_n^*) \leq d(\delta_1, \delta_2) \frac{\zeta_n^*}{b} $ でバウンドされ、真のスパースモデルからの逸脱が制御される。
• オラクル不等式が成立する確率は、下記の式で下界が与えられる： $ 1 - \log_{1+b}\left\{ \frac{(1+b)^2}{\delta_1\delta_2} \cdot \frac{d(\delta_1,\delta_2)(1-\delta^2)}{\delta b} \right\} \times \left\{ (1 + \frac{3}{10}W^2)\exp(-n\bar{a}_n^2 r_1^2) + 2\exp(-n\pi^2/2) \right\} $。この確率はサンプルサイズに指数的に減少する。
• リプシッツ条件の代わりに有界性仮定を用いることで、非リプシッツなCoxモデルの部分尤度に適応可能なフレームワークが得られる。
• 設計共分散の推定に起因するランダム重みに対しても、追加のテール確率バウンドを組み込むことで、解析を拡張し、推定のロバスト性を確保する。
• 導出されたバウンドは、van de Geer (2008) の一般化線形モデルにおけるオラクル不等式の形を踏襲しているが、打ち切りデータを伴う生存分析設定に適応されている。