[논문 리뷰] Implicit ridge regularization provided by the minimum-norm least squares estimator when $n\ll p$

Dmitry Kobak, Jonathan Lomond외 1명|arXiv (Cornell University)|2018. 05. 28.

Neural Networks and Applications인용 수 1

한 줄 요약

이 논문은 $ n \ll p $ 인 고차원 선형 회귀에서 최소노름 최소제곱 추정량이 저분산 예측자 방향으로 인해 암묵적인 리지 정규화를 제공함을 보여주며, 이로 인해 명시적인 양의 리지 페널티는 효과가 없거나 오히려 해로울 수 있음을 밝힌다. 고분산 방향이 반응 변수를 예측할 경우 최적의 리지 페널티는 음수가 될 수 있으며, 시뮬레이션, 실데이터 및 스파이크 공분산 모델 증명을 통해 이를 입증한다.

ABSTRACT

A conventional wisdom in statistical learning is that large models require strong regularization to prevent overfitting. Here we show that this rule can be violated by linear regression in the underdetermined $n\ll p$ situation under realistic conditions. Using simulations and real-life high-dimensional data sets, we demonstrate that an explicit positive ridge penalty can fail to provide any improvement over the minimum-norm least squares estimator. Moreover, the optimal value of ridge penalty in this situation can be negative. This happens when the high-variance directions in the predictor space can predict the response variable, which is often the case in the real-world high-dimensional data. In this regime, low-variance directions provide an implicit ridge regularization and can make any further positive ridge penalty detrimental. We prove that augmenting any linear model with random covariates and using minimum-norm estimator is asymptotically equivalent to adding the ridge penalty. We use a spiked covariance model as an analytically tractable example and prove that the optimal ridge penalty in this case is negative when $n\ll p$.

연구 동기 및 목표

• 고차원 설정에서 큰 모델은 항상 강한 명시적 정규화가 필요하다는 전통적 통념에 도전하기 위해.
• 최소노름 최소제곱 추정량(MoNLS)이 과소정의 선형 모델($n \ll p$)에서 암묵적 정규화를 제공하는지 조사하기 위해.
• 명시적 리지 페널티가 성능 향상에 실패하거나 오히려 악화시키는 조건을 규명하기 위해.
• 최소노름 추정량을 통한 리지 페널 적용과 무작위 예측변수 추가 간 渐近적 등가성을 공식적으로 수립하기 위해.
• 고차원 설정에서 $n \ll p$ 조건 하에 스파이크 공분산 모델에서 최적의 리지 페널티를 유도하고 분석하기 위해.
• method

제안 방법

• 연구는 최소노름 최소제곱 추정량(MoNLS)과 리지 정규화된 회귀 간 성능 비교를 위해 시뮬레이션과 실제 고차원 데이터셋을 활용한다.
• 연구는 리지 페널의 행동을 고차원 설정에서 연구하기 위한 해석 가능한 분석 프레임워크로 스파이크 공분산 모델을 도입한다.
• 논문은 선형 모델에 독립적인 무작위 예측변수를 추가하고 최소노름 추정량을 적용하는 것이 渐近적으로 리지 페널을 적용하는 것과 동일하다는 것을 증명한다.
• 이론적 분석을 통해 스파이크 공분산 모델에서 최적의 리지 페널티를 도출하며, $n \ll p$ 조건에서 이 페널티가 음수가 될 수 있음을 보여준다.
• 분석은 예측변수 분산 구조와 반응 변수 예측 가능성 간의 상호작용에 중점을 두며, 특히 고분산 방향이 예측에 기여하는 방식을 다룬다.
• 이론적 결과는 수치 실험을 통해 지지되며, MoNLS가 이미 암묵적 정규화를 제공할 경우 양의 리지 페널이 성능을 떨어뜨릴 수 있음을 보여준다.
• research_questions

실험 결과

연구 질문

• RQ1 고차원 선형 모델에서 $n \ll p$ 조건 하에 최소노름 최소제곱 추정량이 암묵적인 리지 정규화를 제공하는 조건는 무엇인가?
• RQ2 스파이크 공분산 모델에서 최적의 리지 페널티가 $n \ll p$ 영역에서 음수가 될 수 있는가? 만약 그렇다면 어떤 데이터 조건에서 발생하는가?
• RQ3 최소노름 추정량이 이미 사용되는 상황에서 왜 명시적 양의 리지 정규화가 성능 향상에 실패하는가?
• RQ4 예측변수 방향의 분산 구조가 고차원 회귀에서 리지 페널의 효과성에 어떻게 영향을 주는가?
• RQ5 무작위 예측변수 추가와 최소노름 추정량을 통한 리지 정규화 간 渐近적 등가성은 무엇인가?
• RQ6 key_findings

주요 결과

• 고차원 설정에서 $n \ll p$ 일 경우 최소노름 최소제곱 추정량은 저분산 예측자 방향을 통해 암묵적인 리지 정규화를 제공한다.
• 예측자 공간에 반응 변수를 예측하는 데 기여하는 고분산 방향이 존재할 경우, 명시적 양의 리지 페널티는 성능을 떨어뜨릴 수 있다.
• 스파이크 공분산 모델에서 최적의 리지 페널티는 $n \ll p$ 조건에서 음수가 되며, 이는 이러한 조건에서 양의 정규화가 해로울 수 있음을 시사한다.
• 최소노름 추정량을 통한 리지 페널 적용과 무작위 예측변수 추가 간 渐近적 등가성이 확립되어, 암묵적 정규화의 이론적 기반을 제공한다.
• 시뮬레이션과 실데이터 분석을 통해 MoNLS는 예측자 공간에 고분산 성분이 존재할 경우 리지 회귀보다 성능이 뛰어나다는 것이 확인되었다.
• 양의 리지 페널티의 실패는 MoNLS가 이미 고분산 방향을 저감시키는 방식으로 정규화를 수행하므로, 추가적인 양의 페널화가 오히려 역효과를 낳는다는 점에 기인한다.