[논문 리뷰] RaSE: Random Subspace Ensemble Classification

Ye Tian, Yang Feng|arXiv (Cornell University)|2020. 06. 16.

Face and Expression Recognition참고 문헌 53인용 수 4

한 줄 요약

이 논문은 고차원 희소 분류 문제를 위한 새로운 앙상블 분류 프레임워크인 RaSE를 제안한다. 이 방법은 가중 Kullback-Leibler 발산에 기반한 새로운 비율 정보 기준(Ratio Information Criterion, RIC)을 사용하여 최적의 부분공간을 선택한다. 반복적으로 부분공간 선택을 개선함으로써 분류 정확도와 특징 선택 성능을 햖으며, 제한된 랜덤 부분공간에서도 이론적 일致성과 낮은 오분류 비율을 달성한다.

ABSTRACT

We propose a flexible ensemble classification framework, Random Subspace Ensemble (RaSE), for sparse classification. In the RaSE algorithm, we aggregate many weak learners, where each weak learner is a base classifier trained in a subspace optimally selected from a collection of random subspaces. To conduct subspace selection, we propose a new criterion, ratio information criterion (RIC), based on weighted Kullback-Leibler divergence. The theoretical analysis includes the risk and Monte-Carlo variance of the RaSE classifier, establishing the screening consistency and weak consistency of RIC, and providing an upper bound for the misclassification rate of the RaSE classifier. In addition, we show that in a high-dimensional framework, the number of random subspaces needs to be very large to guarantee that a subspace covering signals is selected. Therefore, we propose an iterative version of the RaSE algorithm and prove that under some specific conditions, a smaller number of generated random subspaces are needed to find a desirable subspace through iteration. An array of simulations under various models and real-data applications demonstrate the effectiveness and robustness of the RaSE classifier and its iterative version in terms of low misclassification rate and accurate feature ranking. The RaSE algorithm is implemented in the R package RaSEn on CRAN.

연구 동기 및 목표

• 대부분의 특징이 관련이 없는 고차원 데이터에서의 희소 분류 문제를 해결하기 위해.
• 모든 랜덤 부분공간을 난수로 단순히 통합하는 것과는 달리, 이론적으로 타당한 앙상블 방법을 개발하기 위해.
• 새로운 정보 기준을 최적화하여 부분공간 선택을 통해 정확한 특징 순위 매기기와 선택을 가능하게 하기 위해.
• 반복적 개선 과정을 도입하여 부분공간 품질을 향상시킴으로써 필요한 랜덤 부분공간의 수를 줄이기 위해.
• RaSE 분류기의 오분류 오차에 대한 이론적 일致성과 상한 경계를 확립하기 위해.

제안 방법

• RaSE 프레임워크는 랜덤으로 생성된 부분공간에 기반한 기본 분류기를 훈련하여 앙상블를 구성하지만, 각 부분공간 그룹 내에서 성능이 가장 좋은 부분공간만 유지한다.
• 클래스 조건부 밀도 간의 가중 Kullback-Leibler 발산에 기반한 새로운 정보 기준인 비율 정보 기준(Ratio Information Criterion, RIC)을 제안하여 최적의 부분공간을 평가하고 선택한다.
• 부분공간 선택은 반복적으로 수행된다: 각 반복에서 분류 성능에 기반해 특징 가중치가 갱신되고, 더 높은 추정 중요도를 가진 특징들에 대해 더 높은 확률로 새로운 부분공간이 샘플링된다.
• 반복 과정을 통해 진짜 신호 집합 $ S^* $ 를 포함하는 부분공간을 선택할 가능성이 높아지며, 비반복적 접근 방식에 비해 필요한 부분공간의 수가 감소한다.
• 이론적 분석을 통해 RIC의 선별 일치성과 약한 일치성을 확립하고, 오분류 비율에 대한 상한 경계를 제공한다.
• 알고리즘은 고차원 분류 작업에 실용적으로 활용할 수 있도록 CRAN에 R 패키지 RaSEn으로 구현되어 있다.

실험 결과

연구 질문

• RQ1 랜덤 부분공간 앙상블 방법이 고차원 희소 분류 환경에서 이론적 일치성을 달성할 수 있는가?
• RQ2 제안된 비율 정보 기준(RIC)이 모든 랜덤 부분공간을 난수로 단순 통합하는 것보다 더 나은 부분공간 선택을 이끌 수 있는가?
• RQ3 반복적 부분공간 선택 절차가 분류 성능을 유지하거나 향상시키면서 필요한 랜덤 부분공간의 수를 상당히 줄일 수 있는가?
• RQ4 기존의 앙상블 방법과 비교했을 때, RaSE는 고차원 데이터에서 특징 순위 매기기 정확도와 오분류 비율 측면에서 어떻게 성능을 내는가?
• RQ5 RaSE 분류기의 오분류 비율과 부분공간 선택 일치성에 대해 어떤 이론적 보장을 확립할 수 있는가?

주요 결과

• 제안된 RIC 기준 하에서 RaSE 분류기는 선별 일치성과 약한 일치성을 확보하여 진짜 신호 집합 $ S^* $ 가 渐진적으로 복원됨을 보장한다.
• 오분류 비율에 대한 이론적 상한 경계가 유도되었으며, 이는 RaSE가 고차원 환경에서도 낮은 오류 비율을 유지함을 보여준다.
• 반복적 버전의 RaSE는 $ S^* $ 를 포함하는 부분공간을 찾기 위해 필요한 랜덤 부분공간의 수를 줄이며, 특징 중요도 추정치를 점진적으로 개선한다.
• 시뮬레이션과 실제 데이터 응용을 통해 RaSE는 다양한 모델과 데이터 구조에서 낮은 오분류 비율과 정확한 특징 순위 매기기를 달성함을 입증하였다.
• 선택된 부분공간에 진짜 신호 집합 $ S^* $ 가 포함될 확률은 반복 횟수와 앙상블 크가 증가할수록 증가하며, $ n, B_1, B_2 o iginfty $ 가 되면 경계가 1로 수렴한다.
• R 패키지 RaSEn은 CRAN에 제공되어 있어 실세계의 고차원 분류 작업에서 RaSE 프레임워크의 실용적 구현을 가능하게 한다.