[논문 리뷰] Path Following and Empirical Bayes Model Selection for Sparse Regression

Hua Zhou, Artin Armagan외 1명|arXiv (Cornell University)|2012. 01. 17.

Statistical Methods and Inference참고 문헌 33인용 수 12

한 줄 요약

이 논문은 일반 미분방정식(OED)를 이용한 해 경로 추적 기반으로, 임의의 볼록 손실과 넓은 범위의 페널티(비볼록 페널티 포함)를 갖는 희소 회귀에 대해 매우 효율적인 경로 추종 알고리즘을 소개한다. 또한 교차검증 없이 빠르게 최적의 조정 파rameter를 식별할 수 있는 경험베이즈 모델 선택 절차를 제안하여, 고차원 일반선형모형(GLM)에서 빠르고 안정적이며 확장 가능한 모델 선택을 가능하게 한다.

ABSTRACT

In recent years, a rich variety of regularization procedures have been proposed for high dimensional regression problems. However, tuning parameter choice and computational efficiency in ultra-high dimensional problems remain vexing issues. The routine use of $\ell_1$ regularization is largely attributable to the computational efficiency of the LARS algorithm, but similar efficiency for better behaved penalties has remained elusive. In this article, we propose a highly efficient path following procedure for combination of any convex loss function and a broad class of penalties. From a Bayesian perspective, this algorithm rapidly yields maximum a posteriori estimates at different hyper-parameter values. To bypass the inefficiency and potential instability of cross validation, we propose an empirical Bayes procedure for rapidly choosing the optimal model and corresponding hyper-parameter value. This approach applies to any penalty that corresponds to a proper prior distribution on the regression coefficients. While we mainly focus on sparse estimation of generalized linear models, the method extends to more general regularizations such as polynomial trend filtering after reparameterization. The proposed algorithm scales efficiently to large $p$ and/or $n$. Solution paths of 10,000 dimensional examples are computed within one minute on a laptop for various generalized linear models (GLM). Operating characteristics are assessed through simulation studies and the methods are applied to several real data sets.

연구 동기 및 목표

• 초고차원 희소 회귀에서 기존 정규화 방법의 계산 비효율성과 조정 파rameter 민감도 문제를 해결한다.
• 조정 파arameter 선택을 위한 교차검증의 한계를 극복하기 위해 더 빠르고 안정적인 경험베이즈 대안을 제안한다.
• 일반적인 비볼록 페널티(예: 비볼록 페널티 포함)를 포함한 광범위한 페널티 유형에 적용 가능한 일반화된 확장 가능한 경로 추종 알고리즘을 개발한다.
• 페널티 가족의 베이지안 해석을 활용해 다양한 초모수 값에서 효율적인 최대사후확률( MAP) 추정을 가능하게 한다.
• 재매개변수화를 통해 표준 라소 외의 더 복잡한 정규화(예: 다항식 추세 필터링)로의 적용 가능성을 확장한다.

제안 방법

• 희소 회귀 문제를 볼록 손실 함수와 대칭적이며 미분 가능하고 약간의 정규성 조건을 만족하는 페널티 함수의 합을 최소화하는 문제로 수식화한다.
• 조정 파arameter ρ의 변화에 따라 해 경로를 부드럽게 추적하기 위해 일반 미분방정식(OED) 기반의 경로 추종 알고리즘을 사용하여, 다른 경로 알고리즘에서 흔히 발생하는 고정 단계 크기 문제를 피한다.
• 비볼록 페널티를 다루기 위해 주요화-최소화(MM) 원리를 적용하여 오목 페널티를 서포팅 초평면으로 반복적으로 대체함으로써 문제를 라소 유사 부분문제의 연속으로 환원한다.
• 해 경로 기반으로 추정된 주변 가능도를 최대화하여 최적의 모형과 조정 파arameter를 선택하는 경험베이즈 절차를 유도하여 교차검증을 피한다.
• 경로 추종 프레임워크 내에서 반복적으로 재가중 최소제곱(IRWLS)을 사용하여 일반선형모형(GLM)에 대한 적용을 가능하게 한다.
• 비표준 정규화(예: 세차 다항식 추세 필터링)를 재매개변수화하여 프레임워크에 통합함으로써 표준 페널티를 넘어서는 적용 가능성을 확장한다.

실험 결과

연구 질문

• RQ1 임의의 볼록 손실과 광범위한 페널티 함수(비볼록 포함)를 갖는 희소 회귀에 대해 일반적이고 효율적인 경로 추종 알고리즘을 개발할 수 있는가?
• RQ2 계산 비용이 큰 교차검증에 의존하지 않고도 효율적이고 안정적인 모델 선택을 수행할 수 있는가?
• RQ3 기존의 AIC/BIC나 교차검증과 비교해 볼 때 제안된 경험베이즈 절차가 속도와 정확도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 다양한 시뮬레이션 설정에서 라소, 비볼록 페널티(예: η = 0.25, 0.5 등)와 같은 다양한 페널티 유형 간의 거짓 양성/음성 비율과 추정 오차는 어떻게 비교되는가?
• RQ5 재매개변수화를 통해 경로 추종 프레임워크를 다항식 추세 필터링과 같은 복잡한 정규화로 확장할 수 있는가?

주요 결과

• 표준 랩탑에서 10,000차원 GLM의 해 경로를 1분 이내에 계산하여 높은 확장성을 입증한다.
• 경험베이즈 모델 선택은 라소 대비 뛰어난 모델 선택 성능을 보이며, 모든 GLM 유형에서 더 낮은 거짓 양성 비율(FPR)과 동일하거나 더 낮은 평균제곱오차(MSE)를 달성한다.
• 비볼록 페널티(예: η = 0.25, 0.5)는 라소(η = 1)보다 항상 더 낮은 FPR을 보이며, 이는 거짓 양성의 더 나은 통제를 의미하지만, 거짓 음성 비율(FNR)은 낮게 유지된다.
• 로지스틱 회귀의 경우, 비볼록 페널티(η = 0.25, 0.5, 0.75)는 해 경로 추적 과정에서 조기 완전분리가 발생함으로써 라소보다 더 빠른 실행 시간을 기록한다.
• 경험베이즈 절차는 교차검증의 대안으로 안정적이고 신속한 성능을 제공하며, 설정에 따라 실행 시간이 다소 변동(중앙값 약 50초)하지만 여전히 실용적이다.
• 재매개변수화를 통해 세차 추세 필터링과 같은 비표준 정규화로의 적용이 성공적으로 확장되었으며, M&A 데이터셋에서 이를 입증하였다.