[논문 리뷰] Quadratic Discriminant Analysis under Moderate Dimension

Qing Yang, Guang Cheng|arXiv (Cornell University)|2018. 08. 29.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 4

한 줄 요약

이 논문은 차원 수 $p$가 표본 크기 $n$과 비례적으로 증가하는 중간 차원 영역에서 이차 판별 분석(QDA)을 조사한다. 표본 QDA가 $p/n \to c \in (0,1)$일 때 임의의 추측으로 악화될 수 있음을 밝히며, 차원에 적응적으로 보정하기 위해 척도 조정과 이동 조정을 통해 차원 효과를 보정하는 일반화된 QDA를 제안한다. 이는 랜덤 매트릭스 이론과 분할 정복 스크리닝 접근법을 통해 '쉬운' 경우와 '어려운' 경우 모두에서 거의 최적의 성능을 달성한다.

ABSTRACT

Quadratic discriminant analysis (QDA) is a simple method to classify a subject into two populations, and was proven to perform as well as the Bayes rule when the data dimension p is fixed. The main purpose of this paper is to examine the empirical and theoretical behaviors of QDA where p grows proportionally to the sample sizes without imposing any structural assumption on the parameters. The first finding in this moderate dimension regime is that QDA can perform as poorly as random guessing even when the two populations deviate significantly. This motivates a generalized version of QDA that automatically adapts to dimensionality. Under a finite fourth moment condition, we derive misclassification rates for both the generalized QDA and the optimal one. A direct comparison reveals one "easy" case where the difference between two rates converges to zero and one "hard" case where that converges to some strictly positive constant. For the latter, a divide-and-conquer approach over dimension (rather than sample) followed by a screening procedure is proposed to narrow the gap. Various numerical studies are conducted to back up the proposed methodology.

연구 동기 및 목표

• 데이터 차원 $p$가 표본 크기 $n$과 비례적으로 증가할 때, 모집단 파ameter에 대한 구조적 가정 없이 고전적 표본 QDA의 성능을 분석하는 것.
• 표준 QDA가 $p/n \to c \in (0,1)$일 때, 모집단 평균 간의 상당한 차이가 있음에도 불구하고 왜 실패하는지 규명하는 것.
• 표본 평균과 공분산 추정치의 $L_2$ 노름과 스펙트럴 노름에서의 차원 효과를 적응적으로 보정하는 일반화된 QDA를 개발하는 것.
• 유한한 네 번째 모멘트 조건 하에서 일반화된 QDA와 최적 QDA의 이론적 오분류율을 유도하는 것.
• 표본 크기 대신 차원에 대해 분할 정복 접근법을 적용하고 스크리닝을 통합하여 어려운 분류 사례에서의 성능 격차를 좁히는 것.

제안 방법

• 차원 보정을 위해 이차형식 $D_i(\mathbf{z})$에 척도 인자를, 행렬식의 로그 $\log|S_i|$에 이동 인자를 적용하여 표본 QDA의 차원 편향을 수정하는 일반화된 QDA 규칙을 제안한다.
• 랜덤 매트릭스 이론을 활용하여 분류 규칙의 핵심 항목의 점근적 분포를 유도하며, 특히 추적과 이차형식을 포함하는 $T_1$, $T_2$, $T_3$ 항에 집중한다.
• 특징 공간을 분할하고 스크리닝을 적용하여 효과적 차원을 감소시켜 추정 정확도를 향상시키는 차원 기반 분할 정복 전략을 도입한다.
• 데이터의 유한한 네 번째 모멘트를 가정할 때, 일반화된 QDA($R^G$)와 최적 QDA($R^O$)의 점근적 오분류율을 유도한다.
• 분류 통계량의 점근적 정규 근사를 가능하게 하기 위해 $\mathbf{z}^0$를 통해 표준 정규 변수로의 변환을 활용한다.
• 오분류율 격차 $\mathrm{Diff} = R^G - R^O$가 $\zeta_1$ 또는 $\zeta(\epsilon)$의 발산 여부에 따라 '쉬운' 경우는 0으로 수렴하고, '어려운' 경우는 양의 상수로 수렴함을 이론적으로 확립한다.

실험 결과

연구 질문

• RQ1 표본 QDA가 $p/n \to c \in (0,1)$일 때, 모집단 평균 간의 상당한 차이가 있음에도 불구하고 왜 임의의 추측 수준으로 악화되는가?
• RQ2 구조적 가정 없이 중간 차원 영역에서 표본 QDA와 최적 QDA의 점근적 오분류율은 무엇인가?
• RQ3 평균과 공분산 추정에서의 차원 효과를 적응적으로 보정할 수 있는 일반화된 QDA를 구성할 수 있는가?
• RQ4 일반화된 QDA가 거의 최적의 성능을 달성하는 조건은 무엇이며, $R^G$와 $R^O$ 사이의 격차가 0에서 떨어져 있는 경우는 언제인가?
• RQ5 스크리닝과 함께 차원 기반 분할 정복 접근법은 $R^G$와 $R^O$의 격차가 양의 상수로 수렴하는 '어려운' 경우에서 분류 성능을 어떻게 향상시킬 수 있는가?

주요 결과

• 표본 QDA는 $p/n \to c \in (0,1)$일 때, 모집단 평균 간의 상당한 차이가 있음에도 불구하고 $R^S \to 0.5$로 임의의 추측 수준에 도달할 수 있다.
• '쉬운' 경우에서 오분류율 격차 $R^G - R^O$는 0으로 수렴하며, 이는 일반화된 QDA가 거의 최적의 성능을 보임을 나타낸다.
• '어려운' 경우에서 격차 $R^G - R^O$는 엄밀히 양의 상수로 수렴하며, 일반화된 QDA와 최적 QDA 사이의 지속적인 성능 격차를 의미한다.
• 제안된 일반화된 QDA는 '쉬운' 경우에서 점근적으로 오분류율 $R^G \xrightarrow{i.p} 0$으로 수렴하며, 최적 규칙의 성능을 따라잡는다.
• 차원 기반 분할 정복 접근법과 스크리닝을 조합하면, 효과적 차원을 감소시켜 '어려운' 경우에서 성능 격차를 효과적으로 좁힐 수 있다.
• 이론적 분석 결과 $R^O \xrightarrow{i.p} 1 - \Phi(T/\psi)$ 및 $R^G \xrightarrow{i.p} 1 - \Phi(\widetilde{T}/\widetilde{\psi})$로 수렴하며, 수렴 여부는 $\zeta_1$ 또는 $\zeta(\epsilon)$의 발산 여부에 따라 달라진다.