[논문 리뷰] Ridge Regularization: an Essential Concept in Data Science

Trevor Hastie|arXiv (Cornell University)|2020. 05. 30.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 데이터 과학에서 릿지 정규화를 기초 기법으로 제시하며, 손실 함수에 ℓ₂ 페널티를 추가하여 조건이 나쁜 선형 모델의 안정성을 높이는 방식을 설명한다. 릿지 회귀가 수축을 통해 분산을 줄이고 고차원 설정에서 일반화 성능을 향상시키며, 베이지안 사전분포, 행렬 완성, 저질서 근사와 같은 광범위한 개념과 연결됨을 보여준다.

ABSTRACT

Ridge or more formally $\ell_2$ regularization shows up in many areas of statistics and machine learning. It is one of those essential devices that any good data scientist needs to master for their craft. In this brief ridge fest I have collected together some of the magic and beauty of ridge that my colleagues and I have encountered over the past 40 years in applied statistics.

연구 동기 및 목표

• 불안정한 선형 모델 문제를 해결하기 위해 릿지 정규화를 데이터 과학의 기본 도구로 정립하는 것.
• 설계 행렬 X가 고도의 다중공선성 또는 가까운 싱귤레이션을 보일 경우, 최소제곱 추정에서 수치적 불안정성을 완화하는 데 릿지 정규화가 어떻게 기여하는지 보여주는 것.
• 계수에 평균이 0인 가우시안 사전분포를 가진 베이지안 추정과 릿지 회귀의 등가성을 보여주는 것.
• 일반선형모형, 코ックス 모형, 행렬 분해 문제 등으로 릿지 정규화를 확장하는 것.
• 릿지 정규화와 핵노름 최소화를 통한 저질서 행렬 근사 간의 연결 고리를 설명하는 것.

제안 방법

• 조건이 나쁜 XᵀX 행렬의 역행렬 계산을 안정화하기 위해 릿지 회귀 추정량 β̂_λ = (XᵀX + λI)⁻¹Xᵀy 를 사용한다.
• 릿지를 제약 최적화 문제로 재구성하여, ||y - Xβ||₂² 을 최소화하면서 ||β||₂ ≤ c 를 만족시키는 문제로 표현함으로써 라그랑주 형태와의 등가성을 보여준다.
• 일반선형모형(GLMs)에 릿지 페널티 λ||β||₂² 를 적용하여 헤시안이 평평할 경우 뉴턴-라프슨 알고리즘의 안정성을 확보한다.
• 분류가 완전히 분리 가능한 경우 로지스틱 회귀에서 계수의 발산을 방지하고 유한하고 안정적인 추정치를 도출하기 위해 릿지 정규화를 적용한다.
• 특이값 분해(SVD)를 활용해 고차원 설정에서 특히 효율적으로 릿지 해를 분석하고 계산한다.
• 핵노름 최소화를 통한 행렬 완성 및 저질서 근사 문제에 릿지 아이디어를 확장하여, 인수분해된 행렬에 대한 이중 볼록 릿지 문제와의 등가성을 보여준다.

실험 결과

연구 질문

• RQ1 XᵀX 가 조건이 나쁘거나 싱귤레이션일 경우, 릿지 정규화가 최소제곱 추정을 어떻게 안정화하는가?
• RQ2 릿지 회귀와 계수에 대해 평균이 0인 가우시안 사전분포를 가진 베이지안 추정 간의 관계는 무엇인가?
• RQ3 최대우도 추정량이 분리로 인해 정의되지 않을 경우, 일반선형모형에서 릿지 정규화는 어떻게 작용하는가?
• RQ4 릿지 정규화는 행렬 분해 및 저질서 근사 문제로 확장될 수 있는가?
• RQ5 행렬 완성 작업에서 릿지 정규화와 핵노름 최소화 간의 연결 고리는 무엇인가?

주요 결과

• 릿지 정규화는 XᵀX 행렬의 대각선에 λ 를 더하여 조건이 나쁜 선형 모델의 안정성을 확보하고, 역행렬 가능성을 보장하며 분산을 감소시킨다.
• 릿지 추정량은 0에 수렴하는 편향을 가지지만, 일반 최소제곱법보다 분산이 작아 적절한 λ 를 선택할 경우 외부 예측 성능이 향상된다.
• 완전히 분리 가능한 로지스틱 회귀에서 릿지 정규화는 계수의 발산을 방지하고 유한하고 안정적인 추정치를 제공한다.
• 릿지 정규화는 일반선형모형, 코ックス 모형, 다중분류 로지스틱 회귀 등으로 일반화되어 고차원 또는 특이한 경우의 최대우도 추정을 안정화시킨다.
• 핵노름 최소화 문제(행렬 완성)의 해는 이중 릿지 행렬 인수분해 문제의 해와 등가적이며, ℓ₂ 및 ℓ₁ 정규화를 새로운 방식으로 연결한다.
• 고차원 설정(p ≫ n)에서는 릿지 정규화가 계수 벡터의 ℓ₂ 노름을 제어함으로써 모델 복잡도를 감소시키고 예측 성능을 향상시킨다. 이는 특징 수가 표본 수를 초과하는 경우에도 유효하다.