[논문 리뷰] The Impact of Regularization on High-dimensional Logistic Regression

Fariborz Salehi, Ehsan Abbasi외 1명|arXiv (Cornell University)|2019. 06. 10.

Statistical Methods and Inference참고 문헌 34인용 수 27

한 줄 요약

이 논문은 높은 차원 설정에서 정규화된 로지스틱 회귀(RLR)의 정밀한 渐近 분석을 제공하며, 성능 지표(예: 평균제곱오차, 서포트 복원 확률)의 정확한 계산을 가능하게 하는 6개의 비선형 방정식 시스템을 사용한다. 이 프레임워크는 최대우도추정의 이전 연구를 일반화하며, ℓ₁ 및 ℓ₂² 정규화 사례에 대해 명시적인 표현을 제공하고, 더 높은 추정 정확도를 위한 최적의 정규화 파라미터를 규명한다.

ABSTRACT

Logistic regression is commonly used for modeling dichotomous outcomes. In the classical setting, where the number of observations is much larger than the number of parameters, properties of the maximum likelihood estimator in logistic regression are well understood. Recently, Sur and Candes have studied logistic regression in the high-dimensional regime, where the number of observations and parameters are comparable, and show, among other things, that the maximum likelihood estimator is biased. In the high-dimensional regime the underlying parameter vector is often structured (sparse, block-sparse, finite-alphabet, etc.) and so in this paper we study regularized logistic regression (RLR), where a convex regularizer that encourages the desired structure is added to the negative of the log-likelihood function. An advantage of RLR is that it allows parameter recovery even for instances where the (unconstrained) maximum likelihood estimate does not exist. We provide a precise analysis of the performance of RLR via the solution of a system of six nonlinear equations, through which any performance metric of interest (mean, mean-squared error, probability of support recovery, etc.) can be explicitly computed. Our results generalize those of Sur and Candes and we provide a detailed study for the cases of $\ell_2^2$-RLR and sparse ($\ell_1$-regularized) logistic regression. In both cases, we obtain explicit expressions for various performance metrics and can find the values of the regularizer parameter that optimizes the desired performance. The theory is validated by extensive numerical simulations across a range of parameter values and problem instances.

연구 동기 및 목표

• 표본 수와 매개변수 수가 유사하거나 동일한 고차원 로지스틱 회귀에서 최대우도추정의 한계를 해결하기 위해.
• 구조화된 매개변수 벡터(예: 희박, 낮은 질서)를 고려하는 정규화된 로지스틱 회귀(RLR)를 분석하기 위한 엄밀한 이론적 프레임워크를 개발하기 위해.
• 일반적인 볼록 정규화 하에서 주요 성능 지표(예: 평균, 평균제곱오차, 서포트 복원 확률)를 체계적으로 계산하는 방법을 제공하기 위해.
• Sur와 Candes(2019)의 비정규화된 MLE 결과를 정규화된 경우로 확장하여 통합적인 분석 접근법을 제공하기 위해.

제안 방법

• 논문은 고차원 점근적 설정 하에서 RLR의 점근적 성능을 특징짓는 6개의 비선형 방정식을 유도한다.
• 이 시스템은 고차원 점근 통계 및 근사 메시지 전달(AMP) 이론의 도구를 사용하여 유도되며, 정규화자의 프록시멀 연산자를 활용한다.
• 성능 지표는 이 시스템의 해를 통해 계산되며, 이는 진짜 매개변수 벡터의 분포와 정규화자가 유도하는 구조에 따라 달라진다.
• ℓ₂² 정규화의 경우, 프록시멀 연산자가 닫힌 형태로 계산되어 시스템이 3개의 방정식으로 단순화된다.
• ℓ₁ 정규화의 경우, 분석은 q-함수와 프록시멀 연산자의 명시적 표현을 사용하여 서포트 복원 확률을 계산한다.
• 이 프레임워크는 추정 오차를 최소화하거나 복원 정확도를 극대화하기 위해 정규화 파rameter를 최적화하는 데 가능하다.

실험 결과

연구 질문

• RQ1 n ≈ p 인 고차원 영역에서 정규화가 로지스틱 회귀 추정자의 편향과 평균제곱오차에 어떤 영향을 미치는가?
• RQ2 고차원 점근적 설정 하에서 정규화된 로지스틱 회귀에 대해 성능 지표(예: 서포트 복원, 평균제곱오차)의 정밀한 분석적 특성화가 가능할 수 있는가?
• RQ3 추정 오차를 최소화하거나 정확한 서포트 복원 확률을 극대화하는 데 최적의 정규화 파rameter 값은 무엇인가?
• RQ4 자료의 희소성으로 인해 MLE가 존재하지 않을 경우, RLR의 성능은 비정규화된 MLE와 어떻게 비교되는가?
• RQ5 이 이론적 프레임워크는 ℓ₁ 및 ℓ₂²를 초월한 일반 볼록 정규화자로 확장될 수 있으며, 정규화자의 구조가 해에 어떤 영향을 미치는가?

주요 결과

• 논문은 정규화된 로지스틱 회귀의 점근적 성능을 정확히 특징짓는 6개의 비선형 방정식 시스템을 수립하여, 국소 리프시츠 성질을 갖는 모든 성능 지표의 정확한 계산을 가능하게 한다.
• ℓ₂² 정규화된 로지스틱 회귀의 경우, 시스템은 3개의 방정식으로 단순화되며, 평균제곱오차를 최소화하기 위한 최적의 정규화 파rameter에 대한 명시적 표현이 유도된다.
• ℓ₁ 정규화된 로지스틱 회귀의 경우, 프록시멀 연산자에서 유도된 q-함수를 사용하여 정확한 서포트 복원 확률을 명시적으로 계산할 수 있다.
• 이 프레임워크는 MLE가 존재하지 않는 영역에서도 정규화가 일관된 매개변수 복원을 가능하게 함을 보여준다.
• 수치 시뮬레이션은 다양한 매개변수 값과 문제 사례에서 이론적 예측의 정확성을 확인하며, 점근적 분석의 정확성을 검증한다.
• Sur와 Candes의 이전 연구를 일반화하며, 정규화가 없을 경우 그들의 3개 방정식 시스템을 특수한 경우로 복원한다.