[논문 리뷰] Multi-scale Classification using Localized Spatial Depth

Subhajit Dutta, Anil K. Ghosh|arXiv (Cornell University)|2015. 04. 15.

Advanced Statistical Methods and Models참고 문헌 24인용 수 9

한 줄 요약

이 논문은 고차원 데이터에서 복잡하고 비타원형이며 다중모달인 클래스 분포를 다루기 위해 국소화된 공간 깊이(LSPD) 기반의 다중 척도 분류기(Multi-scale classifier)를 제안한다. 여러 국소화 척도에서 LSPD로 추정한 후행 확률에 일반화된 가산 모델을 적합하고 이를 집계함으로써, 차원 수가 표본 수를 초월하는 경우에도 강력한 분류 성능을 달성하며, 이론적 일致성과 도전적인 설정에서의 경험적 내구성을 확보한다.

ABSTRACT

In this article, we develop and investigate a new classifier based on features extracted using spatial depth. Our construction is based on fitting a generalized additive model to the posterior probabilities of the different competing classes. To cope with possible multi-modal as well as non-elliptic population distributions, we develop a localized version of spatial depth and use that with varying degrees of localization to build the classifier. Final classification is done by aggregating several posterior probability estimates each of which is obtained using localized spatial depth with a fixed scale of localization. The proposed classifier can be conveniently used even when the dimension is larger than the sample size, and its good discriminatory power for such data has been established using theoretical as well as numerical results.

연구 동기 및 목표

• 기본적인 LDA, QDA, k-NN, KDE와 같은 전통적 분류기들이 비타원형 및 다중모달 클래스 분포를 다루는 데에 한계를 보이는 문제를 해결하기 위해.
• 표본 수가 적고 특징 수가 많은 고차원 설정에서도 잘 작동하는 강력한 비모수적 분류기 개발을 위해.
• 비모수적 방법에서의 차원의 저주 문제를 해결하기 위해 국소화된 공간 깊이의 국소화된 형태를 도입하여 국소 데이터 기하학에 적응하도록 하기 위해.
• 고차원, 저표본 수(HDLSS) 점점 커지는 점근적 설정에서 이론적 일관성과 뛰어난 성능을 확보하기 위해.
• 모수적 분포 형태를 가정하지 않고 복잡한 클래스 경계를 잘 포착할 수 있는 유연하고 애핀 불변(affine-invariant)인 분류 프레임워크 제공을 위해.

제안 방법

• 핵심 함수 $ g $ 를 통해 정의된 국소화된 공간 깊이(LSPD) 측정치를 사용하며, $ \text{LSPD}_h(\mathbf{x}, F) = \mathbb{E}_F[ h^d K_h(\mathbf{t}) ] - \| \mathbb{E}_F[ h^d K_h(\mathbf{t}) u(\mathbf{t}) ] \| $ 로 표현되며, $ h $ 는 국소화 척도를 제어한다.
• 고정된 다수의 국소화 척도 $ h $ 에서 계산된 LSPD 값을 바탕으로 후행 확률을 추정하고, 이를 바탕으로 클래스별 깊이 기반 후행 확률 분포를 모델링하기 위해 일반화된 가산 모델을 적합한다.
• 다양한 국소화 척도에서 유도된 후행 확률 추정치를 가중 평균을 통해 융합함으로써 분류 성능의 내구성과 분류 능력을 향상시킨다.
• 선형 변환에 대해 불변성을 확보하기 위해 데이터 표준화를 애핀-동치성(affine-equivariant) 산란 행렬을 사용하여 수행한다.
• HDLSS 점근적 설정 하에서 이론적 일관성을 확립하였으며, 깊이 기반 추정치가 스케일링 체계에 따라 클래스별 한계 벡터 $ \mathbf{c}_j $ 또는 $ \mathbf{c}_j' $ 로 거의 확실히 수렴함을 보였다.
• 특히 $ d \gg n $ 인 경우에도 깊이 기반 중심에서 외곽으로의 순서를 활용하여 복잡하고 비타원형인 클래스 구조를 잘 포착할 수 있도록 설계되었다.

실험 결과

연구 질문

• RQ1 기존의 모수적 및 비모수적 방법이 실패하는 다중모달성과 비타원형 클래스 분포를 다루는 데에 공간 깊이 기반 비모수적 분류기가 효과적으로 작동할 수 있는가?
• RQ2 고차원, 저표본 수(HDLSS) 설정에서 국소화된 공간 깊이가 분류 성능에 어떻게 기여하는가?
• RQ3 HDLSS 조건 하에서 국소화된 공간 깊이의 점근적 행동은 어떠한가? 그리고 이는 일관된 후행 확률 추정으로 이어지는가?
• RQ4 다양한 척도에서의 깊이 기반 후행 확률 추정치를 융합하는 것이 복잡한 데이터 기하학에서 단일 척도나 기존 비모수적 분류기보다 우월한 성능을 내는가?
• RQ5 국소화된 공간 깊이 추정기의 경우 어떤 조건에서 고차원에서 균일한 강한 일관성을 확보하는가?

주요 결과

• 제안된 분류기는 HDLSS 점근적 설정에서 균일한 강한 일관성을 확보하였으며, 깊이 기반 추정치가 스케일링 체계에 따라 클래스별 한계 벡터 $ \mathbf{c}_j $ 또는 $ \mathbf{c}_j' $ 로 거의 확실히 수렴한다.
• $ \sqrt{d}/h \to 0 $ 인 경우, $ \text{LSPD}_h(\mathbf{x}, F_j) $ 의 극한은 $ 1 - \sqrt{1/2} $ 이며, $ i \neq j $ 일 때는 $ 1 - \sqrt{ \frac{\sigma_j^2 + \nu_{ji}}{\sigma_j^2 + \sigma_i^2 + \nu_{ji}} } $ 로 수렴하여 적절한 조건 하에서 분리 가능성 보장.
• $ \sqrt{d}/h \to A $ 인 경우, 깊이 벡터 $ \mathbf{z}(\mathbf{x}) $ 는 거의 확실히 $ \mathbf{c}_j' $ 로 수렴하며, $ \mathbf{c}_j' = \mathbf{c}_i' $ 는 $ \sigma_j = \sigma_i $ 이고 $ \nu_{ji} = \nu_{ij} = 0 $ 일 때에만 성립하여, 비구형이고 겹치지 않는 구조에서의 분리 가능성 보장.
• $ \sqrt{d}/h \to \infty $ 인 경우, 깊이 벡터는 0으로 수렴하여 깊이 기반 추정치가 적절히 스케일링되지 않으면 탈선함을 나타내며, 이는 다중 척도 융합의 필요성을 강조한다.
• 고차원에서 기존의 비모수적 분류기인 k-NN 및 KDE 보다 우수한 성능을 보였으며, $ d \to \infty $ 가 되더라도 오분류율이 낮게 유지되었고, 특히 비타원형 및 다중모달 설정에서 두드러진 성능 향상을 보였다.
• 이론적 결과는 깊이 기반 추정의 내구성이 복잡한 분포 형태에 대해 강건함을 입증하였으며, 이로 인해 $ d \gg n $ 인 고차원 데이터에서도 양호한 분류 능력을 유지함을 확인하였다.