[논문 리뷰] Feature Selection For High-Dimensional Clustering

Larry Wasserman, Martin Azizyan외 1명|arXiv (Cornell University)|2014. 06. 09.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 9

한 줄 요약

이 논문은 다중모드 검정과 모드 기반 군집화를 조합한 비모수적 특성 선택 방법을 제안한다. 고차원 군집화에 대해 모드 군집화의 첫 이론적 오차 경계를 제공하고, 변량 서명 가정 하에 군집 손실과 하우스도르프 거리에 대한 엄밀한 위험 보장을 수립한다.

ABSTRACT

We present a nonparametric method for selecting informative features in high-dimensional clustering problems. We start with a screening step that uses a test for multimodality. Then we apply kernel density estimation and mode clustering to the selected features. The output of the method consists of a list of relevant features, and cluster assignments. We provide explicit bounds on the error rate of the resulting clustering. In addition, we provide the first error bounds on mode based clustering.

연구 동기 및 목표

• 고차원 군집화의 특성 선택에 대한 이론적 보장을 부족한 문제를 해결한다. 이는 분류 및 회귀 분야에서 잘 정립된 방법과 대비된다.
• 먼저 각 특성의 변량 분포에 대한 다중모드 검정을 통해 정보가 없는 특성을 걸러내는 두 단계 방법을 개발한다.
• 선택된 특성에 대해 모드 기반 군집화를 적용하여 밀도 모드를 기반으로 군집을 식별함으로써 비모수적이고 유연한 접근을 확보한다.
• 군집 오차와 진짜 모드 및 추정 모드 사이의 하우스도르프 거리에 대해 명시적인 위험 경계를 제공함으로써, 모드 기반 군집화의 이론적 격차를 메운다.
• 높은 차원 설정에서도 진짜 특성 지원의 일致적 복원과 정확한 군집화를 달성할 수 있는 조건을 수립한다.

제안 방법

• 각 특성의 변량 분포에 대해 다중모드 검정(특히 딥 검정 또는 초과 질량 검정)을 사용하여 단일모드 대비 다중모드에 대한 귀무가설을 검정한다.
• 딥 통계량이 임계값 $ c_{n,\tilde{\theta}} $ 를 초과할 경우 귀무가설을 기각하며, 여기서 $ \tilde{\theta} = \alpha / (nd) $ 이다. 이를 통해 정보가 있는 특성을 식별한다.
• 모드 수 $ k_j > 1 $ 인 특성 집합 $ R $ 을 선택하여 군집화에 사용할 관련 특성 부분집합을 구성한다.
• 선택된 특성에 대해 대역폭 $ h $ 를 사용한 커널 밀도 추정을 적용한다: $ \widehat{p}_h(y) = \frac{1}{n} \sum_{i=1}^n \frac{1}{h^r} K\left( \frac{||Y_i - y||}{h} \right) $.
• 커널 밀도의 모드 $ \widehat{\mathcal{M}} $ 를 추정하고, 평균 이동 알고리즘을 통해 각 데이터 포인트를 가장 가까운 모드에 할당한다.
• 추정된 모드, 군집 할당, 그리고 관련 특성 집합 $ R $ 을 출력하며, 군집은 모드의 유도 영역에 의해 정의된다.

실험 결과

연구 질문

• RQ1 강한 모수적 또는 희박성 가정에 의존하지 않고도 고차원 군집화에 대해 이론적으로 탄탄한 특성 선택 방법을 개발할 수 있는가?
• RQ2 군집 손실과 하우스도르프 거리 측면에서 모드 기반 군집화의 이론적 오차 경계는 무엇인가?
• RQ3 고차원 데이터에서 군집화에 있어 관련 특성을 식별하는 데 있어 변량 다중모드 검정의 효과는 어떠한가?
• RQ4 이 방법이 진짜 특성 지원과 정확한 군집화를 일관적으로 복원할 수 있는 조건은 무엇인가?
• RQ5 약간의 규칙성 조건 하에서 군집 오차에 대해 최소 최대 최적성 또는 근사 최적 속도를 확립할 수 있는가?

주요 결과

• 군집 오차 경계는 $ O_p\left( \sqrt{ \frac{\log n}{n h^{s+2}} } \right) $ 의 순서를 가지며, 대역폭과 차원에 대한 명시적 의존성을 보인다.
• 진짜 모드와 추정 모드 사이의 하우스도르프 거리는 $ O_p\left( \sqrt{ \eta_0 } \right) $ 로 경계되며, 여기서 $ \eta_0 $ 는 밀도 기울기 추정 오차를 캡처한다.
• 딥 검정의 거짓 음성 비율은 표본 크기의 로그에 따라 감소하며, 이는 유의수준 $ 1/\alpha $ 에 대해 검정의 검정력이 로그 비율로 증가함을 시사한다.
• 시뮬레이션 결과, 이 방법은 다중모드 특성의 진짜 지원을 높은 확률로 올바르게 복원하며, 발생한 오류는 모두 보수적인 특성 제거에 기인했다 (즉, $ \widehat{S} \subseteq S $).
• 이론적 경계는 변량 서명 가정 (A4) 하에 $ n \to \infty $ 일 때 높은 확률로 일관된 특성 선택과 군집화를 달성함을 보여준다.
• 이 논문은 모드 기반 군집화에 대해 처음으로 위험 경계를 제공하여, 이전에 문헌에서 부족했던 이론적 기반을 마련한다.