[논문 리뷰] Prediction error of cross-validated Lasso

Sourav Chatterjee, Jafar Jafarov|arXiv (Cornell University)|2015. 02. 23.

Statistical Methods and Inference참고 문헌 55인용 수 32

한 줄 요약

이 논문은 설계 행렬과 데이터 기반 조정 파rameter에 대한 최소한의 가정 하에, 2-겹 교차검증의 변종을 통해 조정 파rameter가 선택된 Lasso의 예측 오차에 대한 유한 표본 상한을 제공한다. 주요 기여는 교차검증을 통한 Lasso가 고차원 설정($ p \gg n $)에서도 여전히 양호한 예측 성능을 유지함을 엄밀한 이론 분석으로 보여주는 것이다. 또한 강력한 이론적 성질을 지닌 새로운 오차 분산 추정량을 제안한다.

ABSTRACT

In spite of the wealth of literature on the theoretical properties of the Lasso, there is very little known when the value of the tuning parameter is chosen using the data, even though this is what actually happens in practice. We give a general upper bound on the prediction error of Lasso when the tuning parameter is chosen using a variant of 2-fold cross-validation. No special assumption is made about the structure of the design matrix, and the tuning parameter is allowed to be optimized over an arbitrary data-dependent set of values. The proof is based on a general principle that may extend to other kinds of cross-validation as well as to other penalized regression methods. Based on this result, we propose a new estimate for error variance in high dimensional regression and prove that it has good properties under minimal assumptions.

연구 동기 및 목표

• 실제로 흔히 사용되는 데이터 기반 조정 파ram터를 사용할 때 Lasso의 예측 오차에 대한 이론적 이해 부족을 해결하기 위해.
• 조정 파aram터가 2-겹 교차검증의 변종을 통해 선택된 Lasso에 대해 유한 표본 상한을 수립하기 위해.
• 최소한의 가정 하에서도 잘 작동하는 고차원 회귀에서의 오차 분산 추정량을 제안하기 위해.
• 교차검증 및 기타 페널티 회귀 방법에 적용 가능한 일반적인 분석 프레임워크를 개발하기 위해.

제안 방법

• 예측 오차의 상한을 구하기 위해 농도 불등식과 대칭화 원리를 기반으로 하는 일반 원리를 사용한다.
• 코시-슈바르츠 부등식과 모멘트 상한을 적용하여 추정된 예측 오차가 진짜 오차에서 벗어나지 않도록 제어한다.
• 지수 모멘트 부등식(보조정리 A.1)을 통한 서브-가우시안 및 서브-웨이불 尾 부등식을 활용하여 고차원 노이즈를 다룬다.
• 서브-가우시안 과정에 대한 최대 부등식(보조정리 A.2)을 사용하여 데이터 기반 집합 위에서의 경험 과정의 Supremum을 제어한다.
• 교차검증 잔차를 바탕으로 한 새로운 오차 분산 추정량 $ \hat{\sigma}^2 $을 유도하고, 약한 조건 하에서도 그 일致성을 증명한다.
• 추정 오차와 모델 선택 불확실성의 기여를 분리하기 위해 새로운 사건 분해 기법을 활용한다.

실험 결과

연구 질문

• RQ1 조정 파aram터가 데이터 기반 교차검증을 통해 선택된 Lasso의 유한 표본 예측 오차 상한은 무엇인가?
• RQ2 고차원 설정($ p \gg n $)에서 교차검증을 통한 Lasso의 예측 오차는 어떻게 행동하는가?
• RQ3 최소한의 가정 하에서도 일致하는 새로운 오차 분산 추정량을 구성할 수 있는가?
• RQ4 특정 사례를 넘어서 교차검증된 Lasso를 분석하기 위해 어떤 일반 원칙을 사용할 수 있는가?

주요 결과

• 설계 행렬과 오차 분포에 대한 온건한 조건 하에서, 교차검증을 통한 Lasso의 예측 오차는 높은 확률로 $ O(\sqrt{\log p / n}) $ 의 속도로 감소하는 항으로 상한이 둔다.
• 제안된 오차 분산 추정량 $ \hat{\sigma}^2 $ 는 최소한의 가정 하에서도 일치성(확률적 일치)을 보이며, $ p \gg n $ 인 경우에도 성립한다.
• 예측 오차 상한은 설계 행렬 $ X $ 에 대한 희박성 또는 비일관성 가정 없이도 성립한다.
• 분석은 임의의 데이터 기반 조정 파aram터 집합에 적용 가능하므로, 실용적인 교차검증 기법에 넓게 적용 가능하다.
• 이론적 프레임워크는 일반적이며, 다른 페널티 회귀 방법과 교차검증 변종으로의 확장도 가능하다.