[논문 리뷰] A Large Dimensional Study of Regularized Discriminant Analysis Classifiers

Khalil Elkhalil, Abla Kammoun외 3명|arXiv (Cornell University)|2017. 11. 01.

Bayesian Methods and Mixture Models인용 수 4

한 줄 요약

이 논문은 랜덤 행렬 이론을 활용하여 정규화된 선형 및 이차 판별 분석(R-LDA 및 R-QDA)의 고차원 점근적 분석을 제시하며, 오분류 확률이 클래스 통계 및 비율 $ p/n $ 에 따라 결정되는 결정론적 한계로 수렴함을 보여준다. 주요 기여는 이러한 한계에 대한 폐쇄형 표현을 도출함으로써, 유한한 표본에서 고차원 환경에서 오차를 최소화하기 위한 최적의 정규화 파rameter 조정이 가능하게 한다.

ABSTRACT

This article carries out a large dimensional analysis of standard regularized discriminant analysis classifiers designed on the assumption that data arise from a Gaussian mixture model with different means and covariances. The analysis relies on fundamental results from random matrix theory (RMT) when both the number of features and the cardinality of the training data within each class grow large at the same pace. Under mild assumptions, we show that the asymptotic classification error approaches a deterministic quantity that depends only on the means and covariances associated with each class as well as the problem dimensions. Such a result permits a better understanding of the performance of regularized discriminant analsysis, in practical large but finite dimensions, and can be used to determine and pre-estimate the optimal regularization parameter that minimizes the misclassification error probability. Despite being theoretically valid only for Gaussian data, our findings are shown to yield a high accuracy in predicting the performances achieved with real data sets drawn from the popular USPS data base, thereby making an interesting connection between theory and practice.

연구 동기 및 목표

• 차원 수 $ p $ 와 표본 크기 $ n $ 이 모두 커지며 비율 $ p/n $ 이 고정된 고차원 환경에서 정규화된 LDA와 QDA의 점근적 성능을 분석하는 것.
• 서로 다른 평균과 공분산을 가진 일반적인 가우시안 혼합 모델 하에서 오분류 확률에 대한 결정론적 근사값을 도출하는 것.
• 비현실적이지 않은 분류 성능이 나타나기 위해 필요한 클래스 평균과 공분산 차이의 성장률 조건을 규명하는 것.
• 이론적 점근적 성질에 기반하여 오분류율의 일致한 추정치를 도출함으로써 정규화 파rameter $ \gamma $ 의 최적 조정을 가능하게 하는 것.
• 합성 데이터와 USPS 데이터셋을 활용한 실제 실험을 통해 이론적 결과의 타당성을 검증하며, 유한한 표본에서의 분류 오차를 정확하게 예측함을 보여주는 것.

제안 방법

• 분석은 랜덤 행렬 이론(RMT) 도구를 활용하여 이중 점근적 영역 $ p, n \to \infty $ 이면서 $ p/n \to c \in (0, \infty) $ 에서 R-LDA 및 R-QDA의 점근적 행동을 연구한다.
• 클래스 평균과 공분산 차이의 성장률에 대한 약한 가정 하에 한계 오분류 확률에 대한 폐쇄형 표현을 유도한다.
• R-LDA의 경우, 한계 오차는 오직 클래스 평균 차이와 정규화 파rameter $ \gamma $ 에만 의존하며, 평균 차이가 $ O(1) $ 수준이어야 한다.
• R-QDA의 경우, 한계 오차는 평균 차이(필요로 하는 주파수 $ O(\sqrt{p}) $)와 공분산 차이의 스펙트럼 노름에 모두 의존하며, 이는 평균과 공분산 정보를 동시에 활용한다는 것을 반영한다.
• 이중 단계 최적화 방법을 제안한다: 먼저 가우시안 기반 G-추정기로 최적의 $ \gamma $ 를 추정하고, 이후 실제 데이터에서 교차검증 또는 테스트를 통해 보정한다.
• G-추정기는 합성 데이터와 USPS 실제 데이터에서 검증되었으며, 다양한 $ n_0 $ 와 $ p $ 설정에서 경험적 테스트 오차와 강한 일치를 보였다.

실험 결과

연구 질문

• RQ1 차원 수 $ p $ 와 표본 크기 $ n $ 이 모두 커지며 비율 $ p/n $ 이 고정된 상황에서 R-LDA 및 R-QDA의 오분류 확률의 점근적 행동은 어떠한가?
• RQ2 클래스 평균과 공분산 행렬에 대해 어떤 성장률 조건이 성립할 경우 R-LDA 및 R-QDA가 비탄성적이며 비퇴화된 분류 성능을 달성하는가?
• RQ3 정규화 파arameter $ \gamma $ 는 점근적 오분류율에 어떤 영향을 미치며, 이론적 근사치를 활용하여 최적으로 조정할 수 있는가?
• RQ4 제안된 오분류율 이론적 추정기는 실제 고차원 데이터에서의 실제 테스트 오차를 정확하게 예측할 수 있는가?
• RQ5 R-LDA와 R-QDA는 고차원 점근적 영역에서 클래스 평균과 공분산 정보를 어떻게 다른 방식으로 활용하는가?

주요 결과

• R-LDA 및 R-QDA의 오분류 확률은 랜덤 행렬 이론을 통해 유도된 바, 클래스 통계와 비율 $ p/n $ 에만 의존하는 결정론적 한계로 거의 확실히 수렴한다.
• R-LDA는 클래스 평균 차이가 $ O(1) $ 수준이면 완벽한 분류를 달성하지만, R-QDA는 비현실적이지 않은 성능을 얻기 위해 평균 차이가 $ O(\sqrt{p}) $ 수준이어야 한다.
• R-QDA 분류기는 평균과 공분산 차이를 모두 활용하지만, 그 성능은 공분산 차이 행렬의 스펙트럼 노름에 민감하며, 이 노름이 $ \sqrt{p} $ 수준으로 증가해야 한다.
• 제안된 오분류율 G-추정기는 USPS 데이터셋에서 경험적 테스트 오차와 매우 밀접하게 일치하며, $ n_0 $ 와 $ p $ 의 다양한 설정에서 예측 정확도가 검증되었다.
• USPS 데이터셋의 경우, 이중 단계 최적화 방법은 최적의 $ \gamma $ 를 성공적으로 식별하였으며, $ n_0 = 400 $ 이고 $ p = 100 $ 일 때 R-QDA는 최소 테스트 오차 0.009 를 달성했다.
• 결과는 근본적인 차이를 드러낸다: R-LDA는 주로 평균 차이를 활용하지만, R-QDA는 고차원 환경에서 R-LDA를 능가하기 위해 평균과 공분산 양쪽에서 더 강한 신호가 필요하다.