[논문 리뷰] A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression

Karl Rohe|arXiv (Cornell University)|2014. 11. 26.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 3

한 줄 요약

이 논문은 조건부 희박한 페널티 회귀와 고전적 선형 회귀 추정량 간의 이론적 연결을 수립한다. 설계 행렬이 전순위일 때, Puffer 조건부 Lasso가 소프트 임계처리된 OLS 추정량과 동일하다는 것을 보이며, 고차원 설정에서 일반화된 Puffer 조건부를 통해 리지 회귀와 Lasso를 연결함으로써 Lasso가 정방향 선택이 아니라 역방향 제거 절차와 유사하게 행동하게 된다.

ABSTRACT

When the design matrix has orthonormal columns, "soft thresholding" the ordinary least squares (OLS) solution produces the Lasso solution [Tibshirani, 1996]. If one uses the Puffer preconditioned Lasso [Jia and Rohe, 2012], then this result generalizes from orthonormal designs to full rank designs (Theorem 1). Theorem 2 refines the Puffer preconditioner to make the Lasso select the same model as removing the elements of the OLS solution with the largest p-values. Using a generalized Puffer preconditioner, Theorem 3 relates ridge regression to the preconditioned Lasso; this result is for the high dimensional setting, p > n. Where the standard Lasso is akin to forward selection [Efron et al., 2004], Theorems 1, 2, and 3 suggest that the preconditioned Lasso is more akin to backward elimination. These results hold for sparse penalties beyond l1; for a broad class of sparse and non-convex techniques (e.g. SCAD and MC+), the results hold for all local minima.

연구 동기 및 목표

• 조건부 Lasso와 고전적 OLS 및 리지 회귀 추정량 간의 이론적 동치성을 수립하기.
• Puffer 조건부가 정규직교 행렬에서의 소프트 임계처리 관계를 전순위 설계 행렬으로 일반화할 수 있음을 보여주기.
• Lasso가 가장 큰 OLS p-값을 가진 변수들을 제거하는 것과 동일한 변수 선택을 하도록 조건부를 정교화하기.
• 고차원 설정($p > n$)에서 일반화된 Puffer 조건부를 사용하여 리지 회귀와 Lasso 간의 동치성을 확장하기.
• 조건부 Lasso가 표준 Lasso가 정방향 선택과 유사하게 행동하는 것과는 달리, 역방향 제거와 유사하게 행동함을 보여주기.

제안 방법

• 설계 행렬 $\mathbf{X}$ 에 Puffer 조건부 $F = U D^{-1} U'$ 를 적용하여, $F\mathbf{X}$ 가 정규직교 행렬이 되도록 변환한다.
• 조건부 Lasso와 OLS 추정량 간의 관계를 설정하기 위해 핵심 연산으로 소프트 임계처리 $t_\lambda(\hat{\beta}^{\text{ols}})$ 를 사용한다.
• 표준 오차 보정을 통해 $\hat{\beta}^{\text{ols}}$ 의 이질적 분산을 반영하는 수정된 Puffer 조건부 $\text{Puffer}_N$ 을 도입한다.
• 고차원 설정에서 리지 회귀와 Lasso를 연결하기 위해 일반화된 Puffer 조건부 $\text{Puffer}_\tau$ 를 제안한다.
• 조건부 적용 후 희박 페널티(예: SCAD, MC+)의 국소 최솟값을 분석하여, 이들이 $\mathbf{X}$ 의 행공간 내에서 서로 가까이 있음을 보여준다.
• 조건부 Lasso 경로가 $\lambda \to 0$ 일 때 리지 해에 수렴함을 보여, 이는 역방향 제거 행동을 시사한다.

실험 결과

연구 질문

• RQ1 소프트 임계처리와 Lasso 간의 관계를 정규직교 설계 행렬에서 일반 전순위 설계 행렬으로 확장할 수 있는가?
• RQ2 Lasso가 가장 큰 OLS p-값을 가진 변수들을 제거하는 것과 동일한 변수 선택을 하도록 조건부를 구성할 수 있는가?
• RQ3 고차원 설정($p > n$)에서 리지 회귀를 조건부를 통해 Lasso와 연결할 수 있는가?
• RQ4 조건부 적용이 Lasso를 정방향 선택 유사 절차에서 역방향 제거 유사 절차로 변형하는가?
• RQ5 다양한 희박 페널티(예: SCAD, MC+)의 국소 최솟값은 동일한 조건부 Lasso 프레임워크 하에서 어떻게 행동하는가?

주요 결과

• 정리 1은 전순위 $\mathbf{X}$ 에 대해 $Lasso_\lambda(\text{Puffer}(\mathbf{X}, Y)) = t_\lambda(\hat{\beta}^{\text{ols}})$ 임을 보이며, 이는 Tibshirani의 결과를 정규직교 설계 행렬을 초월해 일반화한다.
• 정리 2는 보정된 조건부 $\text{Puffer}_N$ 을 도입하여, Lasso 해가 가장 큰 OLS p-값을 가진 변수들을 제거하는 기반의 변수 선택과 일치함을 보여준다.
• 정리 3은 고차원 설정($p > n$)에서 $\mathscr{P}_\tau(Lasso_\lambda(\text{Puffer}_\tau(\mathbf{X}, Y))) \to \hat{\beta}_{\text{ridge}}(\tau)$ 로 $\lambda \to 0$ 일 때 수렴함을 보이며, 이는 조건부 Lasso와 리지 회귀 간의 연결을 수립한다.
• 조건부 Lasso는 설계 행렬의 정규직교화 덕분에 표준 Lasso와 달리 역방향 제거와 유사하게 행동한다.
• 동일한 조건부 하에서 다양한 희박 페널티(예: SCAD, MC+)의 국소 최솟값은 $\mathbf{X}$ 의 행공간 내에서 상호간에 $2\lambda$ 이내에 위치하며, 이는 높은 안정성을 의미한다.
• Puffer 변환에 의해 유도되는 정규직교화 덕분에, 조건부 Lasso는 Irrepresentable 조건을 요구하지 않더라도 부호 일致성을 달성한다.