[논문 리뷰] Random projection ensemble classification

Timothy I. Cannings, Richard J. Samworth|arXiv (Cornell University)|2015. 04. 17.

Face and Expression Recognition참고 문헌 30인용 수 7

한 줄 요약

이 논문은 고차원 분류 성능을 햖을 고려하여 데이터의 여러 개의 무작위 투영을 조합하고, 그룹화된 부분집합 내에서 가장 우수한 투영을 선택하며, 데이터 기반의 투표 임계치를 사용하는 랜덤 투영 앙상블 분류기를 소개한다. 이 방법은 충분한 차원 감소 조건 하에서 더 많은 투영이 이루어질수록 감소하는 낮은 테스트 초과 위험을 달성하며, 유한 샘플 시뮬레이션에서 기존 분류기들을 능가한다.

ABSTRACT

We introduce a very general method for high-dimensional classification, based on careful combination of the results of applying an arbitrary base classifier to random projections of the feature vectors into a lower-dimensional space. In one special case that we study in detail, the random projections are divided into disjoint groups, and within each group we select the projection yielding the smallest estimate of the test error. Our random projection ensemble classifier then aggregates the results of applying the base classifier on the selected projections, with a data-driven voting threshold to determine the final assignment. Our theoretical results elucidate the effect on performance of increasing the number of projections. Moreover, under a boundary condition implied by the sufficient dimension reduction assumption, we show that the test excess risk of the random projection ensemble classifier can be controlled by terms that do not depend on the original data dimension and a term that becomes negligible as the number of projections increases. The classifier is also compared empirically with several other popular high-dimensional classifiers via an extensive simulation study, which reveals its excellent finite-sample performance.

연구 동기 및 목표

• p ≥ n 인 고차원 환경에서 LDA와 같은 전통적 분류기의 열악한 성능을 해결한다.
• 무작위 투영을 사용하여 데이터를 저차원 공간으로 투영함으로써 차원의 극복을 시도한다.
• 유의미한 투영을 선택하고 투표 임계치를 최적화하여 분류 정확도를 향상시키는 강력한 앙상블 방법을 개발한다.
• 이론적 분석을 통해 테스트 초과 위험을 제어하고, 투영 수가 증가함에 따라 최적 성능에 수렴하는 것을 보여준다.

제안 방법

• 노이즈를 줄이고 클래스 구조를 유지하기 위해 무작위 투영을 상호배타적인 그룹으로 나눈다.
• 각 그룹 내에서 교차검증 또는 유사 방법을 사용해 최소 추정 테스트 오차를 낼 수 있는 투영을 선택한다.
• 각 선택된 투영에 대해 기본 분류기(예: LDA, QDA, k-NN)를 적용한다.
• 단순 다수결 투표 대신 테스트 오차를 최소화하기 위해 데이터 기반의 투표 임계치를 사용하여 결과를 통합한다.
• 무한 시뮬레이션 버전의 분류기를 사용하여 경험적 위험 최소화를 통해 최적의 투표 임계치를 추정한다.
• 이 프레임워크는 기본 분류기에 관계없이 적용 가능하므로, 저차원 방법을 고차원 문제로 확장할 수 있다.

실험 결과

연구 질문

• RQ1 선택적 집계와 함께 무작위 투영을 사용하면 고차원 환경에서 분류 성능을 향상시킬 수 있는가?
• RQ2 무작위 투영의 수를 늘일수록 앙상블 분류기의 테스트 초과 위험은 어떻게 변화하는가?
• RQ3 데이터 기반의 투표 임계치가 앙상블 분류에서 단순 다수결 투표보다 우수한가?
• RQ4 어떤 이론적 조건 하에서 테스트 초과 위험을 원래 데이터 차원과 무관하게 제어할 수 있는가?
• RQ5 유한 샘플 환경에서 기존 고차원 분류기들과의 비교에서 이 방법은 어떻게 성능을 보이는가?

주요 결과

• 랜덤 투영 앙상블 분류기의 테스트 초과 위험은 원래 데이터 차원과 무관한 항들과, 투영 수가 증가함에 따라 감소하는 항으로 제어된다.
• 충분한 차원 감소 조건 하에서, 이론적으로 낮은 초과 위험을 달성하며, 고차원 환경에서도 성능이 우수하다.
• 실험 결과는 이 방법이 여러 유명한 고차원 분류기들과 유사하거나 뛰어난 성능을 보임을 보여준다.
• 데이터 기반의 투표 임계치는 고정된 다수결 투표보다 성능 향상이 뚜렷하며, 특히 복잡한 결정 경계 환경에서 유의미하다.
• 오직 소수의 특징만 관련이 있을 경우에도 이 방법은 효과적이며, 비선형 결정 경계 하에서도 잘 작동한다.
• R 패키지 RPEnsemble는 이 방법을 구현하여 다양한 분류 문제에 실용적으로 적용할 수 있도록 한다.