[논문 리뷰] Classification of Heavy-tailed Features in High Dimensions: a Superstatistical Approach

Urte Adomaityte, Gabriele Sicuro외 1명|arXiv (Cornell University)|2023. 04. 06.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 무거운 尾를 가진 특징을 가진 고차원 설정에서 이元 분류를 분석하기 위해 슈퍼통계적 프레임워크를 도입한다. 데이터는 랜덤 분산이 스칼라 분포 $\varrho$ 에서 추출된 가우시안 분포의 혼합으로 모델링된다. 복제 방법을 사용하여 일반화 오차와 훈련 오차의 정확한 점근적 표현을 유도하며, 이는 훈련 손실이 모든 무거운 尾 분포에 대해 동일하고 $\varrho$ 와 무관하다는 것을 보여주며, 이는 이 영역에서 '가우시안 유니버설리티'를 검증한다.

ABSTRACT

We characterise the learning of a mixture of two clouds of data points with generic centroids via empirical risk minimisation in the high dimensional regime, under the assumptions of generic convex loss and convex regularisation. Each cloud of data points is obtained via a double-stochastic process, where the sample is obtained from a Gaussian distribution whose variance is itself a random parameter sampled from a scalar distribution $\varrho$. As a result, our analysis covers a large family of data distributions, including the case of power-law-tailed distributions with no covariance, and allows us to test recent "Gaussian universality" claims. We study the generalisation performance of the obtained estimator, we analyse the role of regularisation, and we analytically characterise the separability transition.

연구 동기 및 목표

• 무거운 尾 특징을 가진 고차원 이원 분류에서 경험 리스크 최소화의 일반화 성능을 분석하기 위해.
• 비가우시안, 멱법칙 꼬리 분포를 가진 데이터에서 볼록 정규화의 역할을 조사하기 위해.
• 비가우시안 공변수 하에서 분류 작업에서 '가우시안 유니버설리티' 주장의 타당성을 테스트하기 위해.
• 무거운 尾 데이터를 가진 고차원 설정에서의 분리 전이를 특성화하기 위해.
• 무한 분산을 가진 분포를 포함하여 기존의 고차원 점근적 분석을 가우시안 가정을 초월해 확장하기 위해.

제안 방법

• 각 데이터 클러스터를 이중 스토케스틱 과정으로 모델링: $\mathcal{N}(\bm{\mu}, \Delta \mathbf{I}_d)$ 에서의 표본들, 여기서 $\Delta$ 는 분포 $\varrho$ 를 가진 랜덤 변수이다.
• 복제 방법을 적용하여 $n,d \to \infty$ 이면서 $n/d = \alpha$ 가 고정된 극한에서 테스트 오차와 훈련 오차의 정확한 점근적 표현을 도출한다.
• 순서 매개변수 $v, q, \hat{v}, \hat{q}$ 를 위한 고정점 방정식을 유도하며, $\varrho$ 에 대한 $\Delta$ 의 기대값을 포함한다. 예를 들어 $\delta_k = \mathbb{E}[(1 + v\Delta)^{-k}]$.
• 상태 진동과 스텐의 보조정리를 사용하여 수치 계산을 안정화시키며, 특히 로지스틱 손실의 경우 $\hat{v}$ 갱신을 손실의 두 번째 도함수를 사용해 재작성한다.
• 모어-펜로즈 역행렬(제곱 손실)과 사이킷런의 LogisticRegression(로지스틱 손실)을 사용한 수치 실험을 수행하여 이론적 예측을 검증한다.
• 다양한 $\varrho$ (예: 역감마 분포) 에 대해 결과를 비교하여 유니버설리티를 테스트하며, 특히 $\lambda \to 0$ 극한에서의 행동을 분석한다.

실험 결과

연구 질문

• RQ1 무한 분산을 가진 무거운 尾 데이터 분포에 대해 고차원 이원 분류에서의 훈련 오차는 여전히 유니버설한가?
• RQ2 특징이 무거운 尾이고 비가우시안일 경우, 볼록 정규화는 일반화 성능에 어떻게 영향을 미치는가?
• RQ3 임의의 중심 분리 거리를 가진 두 개의 무거운 尾 데이터 클러스터에 대해 일반화 오차의 정확한 점근적 행동은 무엇인가?
• RQ4 비가우시안, 슈퍼통계적 데이터 모델 하에서 고차원 분류의 분리 전이를 해석적으로 특성화할 수 있는가?
• RQ5 이론적 두 번째 모멘트가 존재하지 않는 멱법칙 꼬리 분포를 가진 데이터에서 '가우시안 유니버설리티' 주장은 어느 정도 타당한가?

주요 결과

• 훈련 손실은 $\lambda \to 0$ 근처에서 $\epsilon_\ell = \frac{1}{2}(1 - 1/\alpha)_+$ 라는 유니버설 공식으로 수렴하며, 이는 랜덤 분산 $\Delta$ 의 분포 $\varrho$ 와 무관하다.
• 일반화 오차 $\epsilon_g$ 는 $\delta_1 = \mathbb{E}[(1 + v\Delta)^{-1}]$ 를 통해 $\varrho$ 에 명시적으로 의존하며, 이는 테스트 성능의 비유니버설리티를 보여준다.
• 리지드 정규화가 있는 제곱 손실의 경우, $\delta_1$ 과 $\delta_2$ 를 포함하는 고정점 방정식을 통해 테스트 손실이 해석적으로 특성화된다. 이 값들은 $\varrho$ 에 따라 달라진다.
• 수치 실험을 통해 다양한 멱법칙 붕괴 파라미터 $a$ 에 대해 이론적 예측과 시뮬레이션 간의 뛰어난 일치를 확인하였으며, 이는 분석 프레임워크의 타당성을 검증한다.
• 특히 $a = 1/2$ (무한 분산) 인 경우 일반화 오차가 발산하며, 이는 이론적 기대와 일치한다.
• 이 연구는 고차원 극한에서 훈련 오차가 유니버설하다는 것을 확인하며, 데이터가 무거운 尾를 가질지라도, 훈련 단계에서의 가우시안 유니버설리티의 강건성을 지지한다.