[논문 리뷰] High Dimensional Classification via Regularized and Unregularized Empirical Risk Minimization: Precise Error and Optimal Loss

Xiaoyi Mai, Zhenyu Liao|arXiv (Cornell University)|2019. 05. 31.

Statistical Methods and Inference참고 문헌 40인용 수 10

한 줄 요약

이 논문은 두 클래스의 가우시안 믹스처 모델 하에서 정규화된 및 비정규화된 모델을 사용한 경험적 리스크 최소화를 통해 고차원 설정에서 분류 오차를 정밀하게 이론적으로 분석한다. 이는 모든 표본 크기와 차원성 범주에서 제곱 손실이 다른 볼록 손실 함수보다 항상 우월한 분류 성능을 보이며, 릿지 정규화 및 비정규화된 경우 모두에서 최적임을 입증한다.

ABSTRACT

This article provides, through theoretical analysis, an in-depth understanding of the classification performance of the empirical risk minimization framework, in both ridge-regularized and unregularized cases, when high dimensional data are considered. Focusing on the fundamental problem of separating a two-class Gaussian mixture, the proposed analysis allows for a precise prediction of the classification error for a set of numerous data vectors $\mathbf{x} \in \mathbb R^p$ of sufficiently large dimension $p$. This precise error depends on the loss function, the number of training samples, and the statistics of the mixture data model. It is shown to hold beyond Gaussian distribution under some additional non-sparsity condition of the data statistics. Building upon this quantitative error analysis, we identify the simple square loss as the optimal choice for high dimensional classification in both ridge-regularized and unregularized cases, regardless of the number of training samples.

연구 동기 및 목표

• p ≈ n 또는 p > n 인 고차원 설정에서 경험적 리스크 최소화의 분류 성능을 이해하기 위해.
• 두 클래스의 가우시안 믹스처 모델 하에서 정규화 및 비정규화된 모델의 정확한 분류 오차를 정량화하기 위해.
• 표본 크기나 차원성에 관계없이 고차원 분류에 대한 최적의 손실 함수를 규명하기 위해.
• 데이터 구조에 대한 약한 비희박성 조건 하에서 가우시안 데이터를 초월한 이론적 결과를 확장하기 위해.

제안 방법

• 고차원 영역에서 경험적 리스크 최소화자의 渐近적 행동을 분석하기 위해 더블 리브 오브 원 아웃(leave-one-out) 접근법을 사용한다.
• 해결 경로를 특성화하기 위해 랜덤 매트릭스 이론 및 볼록 가우시안 최소-최대 정리(CGGT) 도구를 적용한다.
• 손실 함수, 학습 표본 크기, 데이터 모델 통계량에 따라 분류 오차의 정밀한 표현식을 유도한다.
• 모델 하에서 가중치 벡터 노름이 O(p^{-1/2})로 스케일링됨을 입증하여 오차 정량화를 가능하게 한다.
• 손실 함수의 2차 확장 및 조건부 기대값을 활용하여 분류기의 渐近적 행동을 유도한다.
• 제어된 특성 상관관계와 차원성을 가진 합성 데이터를 통한 수치 시뮬레이션을 통해 이론적 예측을 검증한다.

실험 결과

연구 질문

• RQ1 p ≈ n 또는 p > n 인 고차원 설정에서 경험적 리스크 최소화의 정밀한 분류 오차는 무엇인가?
• RQ2 표본 수가 특성 차원보다 훨씬 크지 않은 경우 손실 함수의 선택이 분류 성능에 어떻게 영향을 미치는가?
• RQ3 표본 크기에 관계없이 고차원 분류에 대해 항상 최적인 손실 함수가 존재하는가?
• RQ4 가우시안 데이터에 대해 유도된 이론적 결과가 상관관계가 있는 특성을 가진 비가우시안 분포로 얼마나 일반화되는가?
• RQ5 릿지 정규화는 고차원 영역에서 분류 오차에 어떻게 영향을 미치는가?

주요 결과

• 모든 학습 표본 수에 관계없이 정규화 및 비정규화된 경험적 리스크 최소화에 대해 제곱 손실이 최적임이 입증된다.
• 분류 오차는 손실 함수, 학습 표본 크기, 데이터 모델 파rameter(평균 이동 및 공분산 구조 포함)에 따라 정확하게 특성화된다.
• 데이터 통계에 대한 비희박성 조건 하에서 가우시안 데이터를 초월해도 오차 표현식이 유효하므로 분포 가정에 대해 강건함을 시사한다.
• 가중치 벡터 노름이 O(p^{-1/2})로 스케일링되며, 이는 渐近적으로 정확한 오차 표현식 유도를 가능하게 한다.
• 수치적 검증을 통해 이론적 예측이 강력하게 일치함을 확인하였으며, 다양한 차원성과 표본 크기에서 예측된 오차와 관측된 오차 간의 높은 일치도를 보였다.
• 특성 간 상관관계가 존재하는 경우에도 제곱 손실의 최적 성능이 유지됨을 통해, 구조화된 고차원 설정에서의 강건성을 강조한다.