[논문 리뷰] Non-asymptotic Oracle Inequalities for the High-Dimensional Cox Regression via Lasso

Shengchun Kong, Bin Nan|arXiv (Cornell University)|2012. 04. 09.

Statistical Methods and Inference참고 문헌 11인용 수 21

한 줄 요약

이 논문은 lasso 페널티를 사용한 고차원 Cox 회귀 모델에 대해 비점점적 오라클 부등식을 수립하며, 비.i.i.d. 및 비-Lipschitz 부분우도 손실의 도전 과제를 극복한다. 이를 위해 음의 로그-부분우도를 i.i.d. 대체 손실 함수로 근사함으로써 이론적 분석을 가능하게 한다. 주요 기여는 lasso 추정량이 참값으로 알려진 희박 모델과 유사한 추정 및 예측 오차율을 달성할 수 있음을 보여주는 유한표본 경계를 제시하는 것이다.

ABSTRACT

We consider the finite sample properties of the regularized high-dimensional Cox regression via lasso. Existing literature focuses on linear models or generalized linear models with Lipschitz loss functions, where the empirical risk functions are the summations of independent and identically distributed (iid) losses. The summands in the negative log partial likelihood function for censored survival data, however, are neither iid nor Lipschitz. We first approximate the negative log partial likelihood function by a sum of iid non-Lipschitz terms, then derive the non-asymptotic oracle inequalities for the lasso penalized Cox regression using pointwise arguments to tackle the difficulty caused by the lack of iid and Lipschitz property.

연구 동기 및 목표

• lasso 정규화가 적용된 고차원 Cox 회귀 모델에 대해 유한표본 이론의 부족을 해결하며, 특히 손실 함수가 i.i.i.d. 및 Lipschitz 성질을 갖지 않는 경우를 다룬다.
• 이완된 생존 데이터에서 음의 로그-부분우도의 비.i.i.d. 및 비-Lipschitz 성격으로 인해 발생하는 이론적 과제를 극복한다.
• 고차원 설정에서 lasso 추정량의 초과 위험과 추정 오차를 봉인하는 비점점적 오라클 부등식을 유도한다.
• lasso의 변수 선택 및 추정 일致성에 대한 엄밀한 유한표본 분석을 제공하며, 일반선형모형의 결과를 생존 분석으로 확장한다.

제안 방법

• 모집단 기대값을 바탕으로 한 대체 경험 손실 함수를 사용하여 비.i.i.d. 음의 로그-부분우도를 근사함으로써 이론적 분석을 위한 i.i.d. 구조를 만든다.
• 기대값 $ l(\theta) = P\gamma_{f_{\theta}} $ 를 갖는 작업 손실 함수 $ \gamma_{f_{\theta}} $ 를 도입하여 비-Lipschitz 행동을 다룰 수 있는 점별 접근을 가능하게 한다.
• van de Geer(2008)에서 사용한 Lipschitz 조건 대신 유한성 조건을 도입함으로써 더 약한 정규성 조건 하에서도 분석이 가능하도록 한다.
• 매개변수 공간의 엔트로피를 제어하기 위해 구의 기하급수적 진폭을 사용한 체이닝 방법을 적용하며, Lipschitz 연속성의 필요성을 대체한다.
• 피킹 장치와 농도 불등식을 활용하여 초과 위험 $ \hat{\mathcal{E}} $ 와 추정 오차의 $ \ell_1 $-노름 $ I(\hat{\theta}_n - \theta_n^*) $ 에 대한 고확률 경계를 유도한다.
• lasso 페널티의 랜덤 가중치를 다루기 위해 van de Geer(2008)의 尾확률 경계를 변형 적용함으로써 최종 오라클 부등식이 고확률로 성립하도록 보장한다.

실험 결과

연구 질문

• RQ1 비.i.i.d. 및 비-Lipschitz 성격을 지닌 부분우도에 대해 고차원 Cox 회귀 모델에서 lasso에 대한 비점점적 오라클 부등식을 수립할 수 있는가?
• RQ2 일반선형모형의 이론적 프레임워크는 어떻게 케이서드 생존 데이터를 가진 생존 모형에 적응시킬 수 있는가?
• RQ3 고차원 희박성 하에서 lasso 추정량의 초과 위험 및 추정 오차 측면에서의 유한표본 성능는 어떠한가?
• RQ4 lasso 페널티의 랜덤 가중치는 농도 경계와 최종 오라클 부등식에 어떤 영향을 미치는가?
• RQ5 진정한 음의 로그-부분우도를 근사하면서도 i.i.i.d. 구조를 유지할 수 있는 대체 손실 함수를 구성할 수 있는가?

주요 결과

• 논문은 초과 위험 $ \hat{\mathcal{E}} \leq \frac{1}{1-\delta} \epsilon_n^* $ 가 고확률로 성립함을 보여주는 비점점적 오라클 부등식을 수립한다. 여기서 $ \epsilon_n^* $ 는 모델 복잡도와 희박성과 관련된 항이다.
• 추정 오차의 $ \ell_1 $-노름은 $ I(\hat{\theta}_n - \theta_n^*) \leq d(\delta_1, \delta_2) \frac{\zeta_n^*}{b} $ 를 고확률으로 만족하며, 참값으로 알려진 희박 모델에서의 이격을 통제한다.
• 오라클 부등식이 성립할 확률은 아래로 봉인되며, $ 1 - \log_{1+b}\left\{ \frac{(1+b)^2}{\delta_1\delta_2} \cdot \frac{d(\delta_1,\delta_2)(1-\delta^2)}{\delta b} \right\} \times \left\{ (1 + \frac{3}{10}W^2)\exp(-n\bar{a}_n^2 r_1^2) + 2\exp(-n\pi^2/2) \right\} $ 로 표현되며, 표본 크기에 따라 지수적으로 감소한다.
• Lipschitz 조건을 대체하는 유한성 조건을 도입함으로써, Cox 모델의 비-Lipschitz 부분우도에 적용 가능한 프레임워크를 확보한다.
• 디자인 공분산 추정의 불확실성에 대비한 랜덤 가중치를 고려하기 위해 추가적인 尾확률 경계를 통합함으로써, 추정의 강건성을 확보한다.
• 유도된 경계는 van de Geer(2008)의 일반선형모형에서의 오라클 부등식 형태를 그대로 유지하지만, 생존 분석의 케이서드 데이터 설정에 맞게 적응된 형태이다.