[논문 리뷰] Group Lasso for high dimensional sparse quantile regression models

Kengo Kato|arXiv (Cornell University)|2011. 03. 08.

Statistical Methods and Inference참고 문헌 46인용 수 41

한 줄 요약

이 논문은 고차원 희박 분位수 회귀에서 그룹 Lasso의 ℓ₂-추정 오차에 대한 점근적이지 않은 경계를 수립하며, 진짜 희박성과 그룹 구조가 일치할 경우 ℓ₁-벌점 분위수 회귀보다 우수한 성능을 보일 수 있음을 보여준다. 데이터 기반의 조정 파rameter 선택 방법을 확장하고, 추가 분위수 회귀 모델에서 오라클 속도에 임의로 가까운 수렴 속도를 달성함을 보였다.

ABSTRACT

This paper studies the statistical properties of the group Lasso estimator for high dimensional sparse quantile regression models where the number of explanatory variables (or the number of groups of explanatory variables) is possibly much larger than the sample size while the number of variables in "active" groups is sufficiently small. We establish a non-asymptotic bound on the $\ell_{2}$-estimation error of the estimator. This bound explains situations under which the group Lasso estimator is potentially superior/inferior to the $\ell_{1}$-penalized quantile regression estimator in terms of the estimation error. We also propose a data-dependent choice of the tuning parameter to make the method more practical, by extending the original proposal of Belloni and Chernozhukov (2011) for the $\ell_{1}$-penalized quantile regression estimator. As an application, we analyze high dimensional additive quantile regression models. We show that under a set of suitable regularity conditions, the group Lasso estimator can attain the convergence rate arbitrarily close to the oracle rate. Finally, we conduct simulations experiments to examine our theoretical results.

연구 동기 및 목표

• 고차원 희박 분위수 회귀 모델에서 그룹 Lasso의 점근적이지 않은 ℓ₂-추정 오차 경계를 수립하기.
• 그룹 Lasso가 추정 오차 측면에서 ℓ₁-벌점 분위수 회귀보다 우월한 조건을 명확히 하기.
• Belloni와 Chernozhukov(2011)의 데이터 의존적 조정 파aram터 선택 방법을 실용적 구현을 위해 그룹 Lasso 프레임워크로 확장하기.
• 그룹 Lasso를 고차원 추가 분위수 회귀 모델에 적용하고 수렴 속도를 유도하기.
• 규칙성 조건 하에서 그룹 Lasso 추정량이 오라클 속도 n^{-ν/(2ν+1)}에 임의로 가까운 수렴 속도를 달성할 수 있음을 보여주기.

제안 방법

• 진짜 조건부 분위수 함수가 기저 함수의 희박한 선형 조합에 의해 잘 근사될 수 있는 비영일 수 있는 편향 설정 하에서 그룹 Lasso 추정량의 ℓ₂-추정 오차에 대한 점근적이지 않은 경계를 유도한다.
• Belloni와 Chernozhukov(2011)의 데이터 기반 조정 파aram터 선택 절차를 그룹 Lasso의 경우로 확장하여, 비영 편향 케이스에서도 점근적으로 타당한 결과를 확보한다.
• 추가 분위수 회귀에 그룹 Lasso를 적용하기 위해 기저 함수를 사용한 부분합의 절단 전개로 추가 성분을 근사하고, 변수 선택 문제를 계수의 그룹 선택 문제로 변환한다.
• 그룹별 공분산 구조를 갖는 설계 행렬을 사용하며, 설계 행렬의 그룹별 부분행렬에 대해 그룹별 희박성과 유한한 고유값을 가정한다.
• 집합 불등식과 대칭화 기법을 활용하여 경험 과정를 제어하고 추정 오차에 대한 고확률 경계를 도출한다.
• 추정 오차 경계와 기저 함수 전개로부터 유도된 근사 오차를 조합하여 수렴 속도를 확립하며, 조건부 분위수 함수의 매끄러움(ν-매끄러움)을 활용한다.

실험 결과

연구 질문

• RQ1 그룹 Lasso 추정량이 ℓ₁-벌점 분위수 회귀 추정량보다 더 낮은 ℓ₂-추정 오차를 달성할 조건은 무엇인가?
• RQ2 비영 편향 설정 하에서 그룹 Lasso에 대한 데이터 기반 조정 파aram터 선택 규칙이 점근적으로 타당한가?
• RQ3 고차원 추가 분위수 회귀 모델에서 그룹 Lasso 추정량이 달성할 수 있는 수렴 속도는 무엇인가?
• RQ4 진짜 파aram터 벡터가 그룹별로 희박하지만 조건부 분위수 함수가 정확히 희박하지 않은 경우 그룹 Lasso는 어떻게 행동하는가?
• RQ5 매끄러움 조건 하에서 추가 분위수 회귀에서 그룹 Lasso 추정량이 오라클 속도에 얼마나 가까이 다가설 수 있는가?

주요 결과

• 그룹 Lasso 추정량은 높은 확률로 t(n^{-ν/(2ν+1)} ∨ √(log d / n))의 순서의 ℓ₂-추정 오차 경계를 달성하며, 여기서 t는 조정 파aram터이고 ν는 조건부 분위수 함수의 매끄러움을 나타낸다.
• 적절한 규칙성 조건 하에서, 그룹 Lasso 추정량은 오라클 속도 n^{-ν/(2ν+1)}에 임의로 가까운 수렴 속도를 달성할 수 있다. 이 조건은 m log d / n → 0 및 t²(n^{(1-2ν)/(2ν+1)} ∨ (m log d / n)) → 0를 포함한다.
• 점근적이지 않은 추정 오차 경계는 진짜 희박성 패턴이 그룹 구조와 일치할 경우 그룹 Lasso가 ℓ₁-벌점화보다 우월하다는 것을 설명한다.
• Belloni와 Chernozhukov(2011)에서 유도된 데이터 의존적 조정 파aram터 선택 규칙은 적절한 조건 하에서 비영 편향 케이스에서도 점근적으로 타당하다.
• 추가 성분의 급수 전개를 절단함으로써 발생하는 근사 오차는 O(m^{-ν})이며, m를 적절히 선택할 경우 전체 수렴 속도에 흡수된다.
• 그룹 선택과 기저 함수 근사의 조합을 통해 추가 분위수 회귀에서 거의 오라클 성능을 달성하며, 최종 수렴 속도는 표본 크기와 매끄러움 ν에 모두 의존한다.