[논문 리뷰] Preconditioning to comply with the Irrepresentable Condition

Jinzhu Jia, Karl Rohe|arXiv (Cornell University)|2012. 08. 28.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 19

한 줄 요약

이 논문은 희소 선형 회귀에서 설계 행렬을 변형하여 비표현 조건을 만족시키는 새로운 전처리 기법을 제안한다. 이는 원래의 설계 행렬이 이 엄격한 조건을 위반하더라도 Lasso 추정기의 부호 일致성을 유지할 수 있도록 한다. 단일값을 0 또는 1로 정규화하고 행 또는 열 간의 직교성을 유도하는 전처리 행렬을 적용함으로써, 고차원 설정(p >> n)에서 모델 선택 성능이 크게 향상되며, 이는 이론적 보장과 강력한 시뮬레이션 결과를 통해 통계적 일致성 향상과 제한적인 상관관계 가정에 대한 의존도 감소를 입증한다.

ABSTRACT

Preconditioning is a technique from numerical linear algebra that can accelerate algorithms to solve systems of equations. In this paper, we demonstrate how preconditioning can circumvent a stringent assumption for sign consistency in sparse linear regression. Given $X \in R^{n imes p}$ and $Y \in R^n$ that satisfy the standard regression equation, this paper demonstrates that even if the design matrix $X$ does not satisfy the irrepresentable condition for the Lasso, the design matrix $F X$ often does, where $F \in R^{n imes n}$ is a preconditioning matrix defined in this paper. By computing the Lasso on $(F X, F Y)$, instead of on $(X, Y)$, the necessary assumptions on $X$ become much less stringent. Our preconditioner $F$ ensures that the singular values of the design matrix are either zero or one. When $n\ge p$, the columns of $F X$ are orthogonal and the preconditioner always circumvents the stringent assumptions. When $p\ge n$, $F$ projects the design matrix onto the Stiefel manifold; the rows of $F X$ are orthogonal. We give both theoretical results and simulation results to show that, in the high dimensional case, the preconditioner helps to circumvent the stringent assumptions, improving the statistical performance of a broad class of model selection techniques in linear regression. Simulation results are particularly promising.

연구 동기 및 목표

• 고차원 회귀에서 설계 행렬의 열 간 상관관계가 높아 비표현 조건을 위반할 경우 Lasso의 부호 일치성이 실패하는 문제를 해결하기 위해.
• 원래의 설계 행렬이 비표현 조건을 위반할 수 있도록 데이터 기반 전처리 방법을 개발하여, Lasso 추정기의 부호 일치성을 복원하기 위해.
• 특히 고차원 영역(p >> n)에서 설계 행렬의 구조에 대한 제한적인 가정에 대한 의존도를 줄이기 위해.
• 매우 가벼운 랜덤 행렬 가정 하에 전처리된 설계 행렬이 높은 확률로 비표현 조건을 만족함을 보여주는 이론적 경계를 제공하기 위해.
• 고차원 설계에서 상관관계가 높을 때 표준 Lasso와 비교해 모델 선택 정확도 및 일관성이 향상됨을 보여주는 실험적 검증을 수행하기 위해.

제안 방법

• 설계 행렬 X를 단일값이 0 또는 1로 제한된 새로운 행렬로 변환하는 새로운 전처리 행렬 Phys. Rev. E 를 제안하며, 이는 수치적 안정성과 개선된 조건수를 보장한다.
• 전처리 행렬을 설계 행렬 X와 반응 벡터 Y 양쪽에 적용하여, (X, Y) 대신 (Phys. Rev. E X, Phys. Rev. E Y) 에서 Lasso를 푸는 방식을 사용한다.
• n ≥ p 인 경우, 전처리된 설계 행렬에서 열 간의 직교성이 유도되어 비표현 조건이 보장된다.
• p ≥ n 인 경우, 전처리 행렬은 설계 행렬을 스티펠 맨포이드 위로 투영하여 전처리된 행렬에서 행 간의 직교성이 발생한다.
• 랜덤 행렬 이론과 농도 불등식을 활용하여 전처리된 행렬의 열 간 최대 상관관계에 대한 고확률 경계를 유도한다.
• 유니온 바운드와 카이제곱 및 정규 분포 꼬리 경계를 활용하여, n 이 s² log p 보다 더 빠르게 증가할 경우 비표현 조건이 높은 확률로 성립함을 보여준다.

실험 결과

연구 질문

• RQ1 고차원 회귀에서 원래의 설계 행렬이 비표현 조건을 위반하더라도 전처리를 통해 Lasso의 비표현 조건을 만족시킬 수 있는가?
• RQ2 어떤 조건에서 설계 행렬이 전처리된 후에 비표현 조건을 높은 확률로 만족하는가?
• RQ3 제안된 전처리 행렬이 Lasso의 통계적 성능, 특히 부호 일치성과 모델 선택 정확도에 어떤 영향을 미치는가?
• RQ4 예측 변수의 수 p 가 표본 크기 n 을 초과할 경우에도 이 전처리 방법이 효과를 유지하는가?
• RQ5 랜덤 행렬 가정 하에 전처리된 설계 행렬이 비표현 조건을 만족할 이론적 확률은 얼마인가?

주요 결과

• 전처리 행렬 Phys. Rev. E 는 전처리된 설계 행렬의 모든 단일값이 0 또는 1임을 보장하여 수치적 조건수를 크게 향상시킨다.
• n ≥ p 인 경우, 전처리된 설계 행렬은 상호직교하는 열을 가지며, 이는 원래의 상관관계 구조와 무관하게 비표현 조건이 만족됨을 보장한다.
• p ≥ n 인 경우, 전처리된 설계 행렬은 상호직교하는 행을 가지며, n 과 p 에 대한 약한 조건 하에 비표현 조건이 높은 확률로 성립한다.
• i.i.d. 표준 정규 분포를 가진 랜덤 설계 행렬에 대해, n 이 s² log p 보다 더 빠르게 증가할 경우 비표현 조건이 최소 1 - ½p(p−1)e⁻ⁿᶜ²/(16(2s−1)²) - 3p(p−1)e⁻ⁿ/¹⁶ 이상의 확률로 성립한다.
• 설계 행렬이 스티펠 맨포이드 위에 균일하게 분포할 경우, 전처리된 행렬의 두 열 간 최대 상관관계가 c/(2s−1) 이하일 확률은 최소 1 - 4p(p−1)e⁻ⁿ¹/² 이상이다.
• 시뮬레이션 결과는 전처리된 Lasso가 특히 고차원 설정에서 높은 상관관계 하에서 표준 Lasso보다 훨씬 뛰어난 모델 선택 성능과 부호 일치성을 보임을 입증한다.