[논문 리뷰] Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions

Bruno Loureiro, Gabriele Sicuro외 4명|arXiv (Cornell University)|2021. 06. 07.

Statistical Methods and Inference인용 수 10

한 줄 요약

이 논문은 일반화된 선형 모델을 사용한 고차원 가우시안 혼합 모델에서 경험적 리스크 최소화의 정확한 渐近 공식을 유도하며, 볼록 손실과 정규화에 대해 추정기 행동의 정밀한 특성화를 입증한다. 분류 성능의 단계 전이를 규명하고, 실세계 데이터에서 $K=10$이 $K=2$보다 우월함을 보이며, MNIST 및 패션-MNIST에 대한 이론적 학습 곡선을 검증한다.

ABSTRACT

Generalised linear models for multi-class classification problems are one of the fundamental building blocks of modern machine learning tasks. In this manuscript, we characterise the learning of a mixture of $K$ Gaussians with generic means and covariances via empirical risk minimisation (ERM) with any convex loss and regularisation. In particular, we prove exact asymptotics characterising the ERM estimator in high-dimensions, extending several previous results about Gaussian mixture classification in the literature. We exemplify our result in two tasks of interest in statistical learning: a) classification for a mixture with sparse means, where we study the efficiency of $\\ell_1$ penalty with respect to $\\ell_2$; b) max-margin multi-class classification, where we characterise the phase transition on the existence of the multi-class logistic maximum likelihood estimator for $K>2$. Finally, we discuss how our theory can be applied beyond the scope of synthetic data, showing that in different cases Gaussian mixtures capture closely the learning curve of classification tasks in real data sets.

연구 동기 및 목표

• 고차원 설정에서 일반적인 평균과 공분산을 가진 $K$-성분 가우시안 혼합 모델에 대해 경험적 리스크 최소화의 渐近 행동을 특성화하는 것.
• 볼록 손실과 정규화 하에서 다중분류의 일반화 오차 및 훈련 오차의 정밀한 단계 전이를 규명하는 것.
• 특히 $\ell_1$ 대 $\ell_2$ 정규화의 효과를 희박한 평균 설정에서 평가하는 것.
• $K=2$와 $K=10$ 클러스터 모델을 비교하여 실세계 학습 곡선에 대한 가우시안 혼합 근사의 타당성을 평가하는 것.
• 공분산 행렬의 조건수와 관련된 낮은 정규화 영역에서의 수치적 불안정성의 원인을 규명하는 것.

제안 방법

• 통계물리 기반의 방법을 사용하여 고차원 극한에서 추정기 $({\boldsymbol{W}}^*, {\boldsymbol{b}}^*)$ 의 정확한 渐近 표현식을 유도한다.
• 레플리카 방법과 자기일관성 방정식을 적용하여 오버랩 매개변수 $q_\pm = {\boldsymbol{W}}^\top {\boldsymbol{\Sigma}}_\pm {\boldsymbol{W}}$ 와 국소 필드 분포를 특성화한다.
• 로지스틱 회귀, 리지, 기저 추적 등 다양한 볼록 손실 $\ell$ 과 정규화 $r$ 을 포함하는 일반화된 선형 모델 프레임워크를 사용한다.
• 다중분류 로지스틱 회귀 ($K>2$) 에서의 최대우도 추정기 존재성 및 분리 가능성에 대한 단계 전이 임계점을 도출한다.
• 유한한 크기의 시뮬레이션을 통해 이론적 예측을 검증하고, 실세계 데이터의 학습 곡선을 $P_2$ 및 $P_{10}$ 근사와 비교한다.
• 낮은 $\lambda$ 에서 공분산 행렬의 불량한 조건수와 관련된 가짜 固定点이 자기일관성 방정식에 나타남을 규명한다.

실험 결과

연구 질문

• RQ1 고차원에서 임의의 평균과 공분산을 가진 $K$-가우시안 혼합 모델에 대해 경험적 리스크 최소화기의 정밀한 渐近 행동은 무엇인가?
• RQ2 진짜 평균이 희박할 때, $\ell_1$ 정규화는 $\ell_2$ 정규화에 비해 추정 효율성에서 어떻게 다를까?
• RQ3 $K>2$ 인 다중분류 로지스틱 최대우도 추정기의 존재성에 대한 단계 전이 임계점은 무엇인가?
• RQ4 $K=2$ 가우시안 혼합 근사는 실세계 데이터의 학습 곡선을 정확히 캐릭터라이즈할 수 있는가, 아니면 $K=10$ 모델이 필요한가?
• RQ5 낮은 정규화 영역에서 수치적 불안정성이 나타나는 이유는 무엇이며, 이는 공분산 행렬의 조건수와 어떻게 관련이 있는가?

주요 결과

• 논문은 임의의 볼록 손실과 정규화에 대해 일반화된 선형 모델이 $K$-가우시안 혼합 모델에서 훈련된 경우의 일반화 오차 및 훈련 오차에 대해 정확한 渐近 공식을 수립한다.
• 희박한 평균 모델에서는 $\ell_1$ 정규화가 $\ell_2$ 정규화보다 추정 효율성에서 뚜렷이 뛰어나며, 특히 샘플 복잡도가 낮은 영역에서 두드러진다.
• $K>2$ 인 다중분류 로지스틱 최대우도 추정기의 존재성에 대해 단계 전이가 존재하며, 이 임계점은 평균과 공분산의 기하학적 구조에 의해 결정된다.
• MNIST 및 패션-MNIST 데이터에 대한 $K=10$ 가우시안 혼합 근사($P_{10}$) 는 $K=2$ 근사($P_2$) 에 비해 실세계 데이터보다 학습 곡선이 체계적으로 더 가까워, 더 높은 정밀도를 보인다.
• 낮은 $\lambda \ll 1$ 에서 자기일관성 방정식에 가짜 고정점이 나타나며, 이는 공분산 행렬의 불량한 조건수와 관련되어 있어 낮은 정규화 영역에서의 수치적 불안정성을 나타낸다.
• $P_2$ 및 $P_{10}$ 근사에서 유도된 이론적 학습 곡선은 유한한 크기의 시뮬레이션과 실세계 실험 결과와 매우 유사하여, 모델의 예측 능력을 검증한다.