[논문 리뷰] Combined l_1 and greedy l_0 penalized least squares for linear model selection

Piotr Pokarowski, Jan Mielniczuk|arXiv (Cornell University)|2013. 10. 22.

Statistical Methods and Inference참고 문헌 37인용 수 13

한 줄 요약

이 논문은 예측 변수 걸러내기와 그로 인한 순서 정렬, 그리고 모형 선택을 위한 세 단계의 스크리닝–순서 정렬–선택(SOS) 알고리즘을 제안한다. 이 알고리즘은 예측 변수 걸러내기로 ℓ₁-벌점이 부여된 라소와 모형 선택으로 일반화 정보기준(GIC)을 사용한 탐욕적 ℓ₀-벌점이 부여된 최소제곱법을 조합한다. 이 방법은 단독 라소보다 더 약한 조건 하에서도 선택 일致성을 달성하며, 주요 결과로 탐욕적 GIC 선택이 전수 GIC 선택보다 渐近적으로 높은 오류 확률을 가지지 않음을 보여, 계산 비용을 크게 줄이면서도 정확도를 손상시키지 않는다.

ABSTRACT

We introduce a computationally effective algorithm for a linear model selection consisting of three steps: screening--ordering--selection (SOS). Screening of predictors is based on the thresholded Lasso that is l_1 penalized least squares. The screened predictors are then fitted using least squares (LS) and ordered with respect to their t statistics. Finally, a model is selected using greedy generalized information criterion (GIC) that is l_0 penalized LS in a nested family induced by the ordering. We give non-asymptotic upper bounds on error probability of each step of the SOS algorithm in terms of both penalties. Then we obtain selection consistency for different (n, p) scenarios under conditions which are needed for screening consistency of the Lasso. For the traditional setting (n >p) we give Sanov-type bounds on the error probabilities of the ordering--selection algorithm. Its surprising consequence is that the selection error of greedy GIC is asymptotically not larger than of exhaustive GIC. We also obtain new bounds on prediction and estimation errors for the Lasso which are proved in parallel for the algorithm used in practice and its formal version.

연구 동기 및 목표

• p > n 인 고차원 선형 모형 선택을 위한 계산적으로 효율적이고 선택 일치성을 갖는 방법을 개발하는 것.
• 라소가 비대칭 조건(irrepresentable conditions)으로 인해 올바른 모형을 선택하지 못하는 한계를 해결하기 위해 걸러내기와 탐욕적 선택 단계를 조합하는 것.
• 탐욕적 ℓ₀-벌점이 부여된 최소제곱법(GIC 기반)이 전수 검색보다 오류 확률이 渐近적으로 높지 않음을 보여주어 선택 일치성을 달성하는 것.
• 각 SOS 알고리즘 단계의 오류 확률에 대한 비점근적 상한을 라소와 GIC 벌점에 따라 유도하는 것.

제안 방법

• 스크리닝 단계는 최대 n개의 예측 변수로 줄이기 위해 임계값이 적용된 라소(ℓ₁-벌점이 부여된 최소제곱법)를 사용한다.
• 순서 정렬 단계는 스크리닝된 집합에서 전체 최소제곱 회귀를 수행한 후, 각 예측 변수의 t통계량을 기준으로 순서를 정한다.
• 선택 단계는 순서 정렬에 의해 유도된 포함 관계를 갖는 모형의 중첩 가족에 대해 탐욕적 검색을 적용하며, GIC에 벌점이 부여된 ℓ₀-벌점이 부여된 최소제곱법을 사용한다.
• GIC 벌점은 적합도가 뛰어나고 복잡도가 낮은 모형을 선호하여 최적의 모형을 선택하는 데 사용된다.
• 라소와 GIC 벌점에 기반하여 각 단계의 오류 확률에 대한 비점근적 상한을 도출한다.
• 이론적 분석을 통해 제한된 이완성 조건(RIP)과 더 약한 베타-미니멈 조건 하에서도, 상관관계가 있는 예측 변수가 존재하는 경우에도 선택 일치성을 확립한다.

실험 결과

연구 질문

• RQ1 ℓ₁ 및 ℓ₀-벌점이 부여된 최소제곱법을 조합한 세 단계 알고리즘이 고차원 선형 모형에서 선택 일치성을 달성할 수 있는가?
• RQ2 GIC 기반 탐욕적 ℓ₀-벌점이 부여된 최소제곱법의 선택 오류 확률이 전수 검색의 것보다 渐近적으로 높지 않은가?
• RQ3 임계값이 적용된 라소가 후속 모형 선택을 뒷받침하기 위해 어떤 조건에서 걸러내기 일치성을 달성하는가?
• RQ4 스크리닝, 순서 정렬, 선택 단계의 비점근적 오류 상한이 라소와 GIC 벌점에 어떻게 의존하는가?
• RQ5 예측 변수가 상당히 상관관계가 있거나 또는 부정확한 예측 변수가 복제된 경우에도 제안된 SOS 알고리즘이 선택 일치성을 유지할 수 있는가?

주요 결과

• SOS 알고리즘은 제한된 이완성 조건(RIP)과 약한 베타-미니멈 조건 하에서도 예측 변수 간 상관관계가 높아도 선택 일치성을 달성한다.
• 탐욕적 GIC 단계의 선택 오류 확률은 전수 GIC의 것보다 渐近적으로 높지 않으며, 이는 탐욕적 검색이 오류 위험을 증가시키지 않음을 의미한다.
• 라소와 GIC 벌점에 기반하여 각 SOS 단계의 오류 확률에 대한 비점근적 상한이 도출되었다.
• 이 방법은 실용적 및 공식적 버전의 알고리즘에 대해 유효한 라소의 예측 오차 및 추정 오차에 대한 새로운 비점근적 상한을 제공한다.
• n > p 설정에서, GIC 벌점이 n의 주머니에 해당하는 조건 하에서 선택 오류에 대한 일반적 상한을 도출하였다. 이 상한은 p와 |T|가 무한대로 증가하는 경우에도 유효하다.
• 이론적 결과는 SOS 알고리즘이 라소의 걸러내기 일치성에 충분한 조건을 만족하는 경우에도 선택 일치성을 유지함을 확인하였으며, 현실적인 고차원 설정으로의 적용 가능성을 넓혔다.