[논문 리뷰] Robust Classification of High Dimension Low Sample Size Data

Neclâ Gündüz, Ernest Fokoué|arXiv (Cornell University)|2015. 01. 03.

Advanced Statistical Methods and ModelsMathematics참고 문헌 24인용 수 20

한 줄 요약

이 논문은 고차원·저표본 크기(HDLSS) 데이터에 대한 강건한 분류 방법을 평가하며, 강건한 판별 분석, 강건한 주성분 분석(PCA), 랜덤 포레스트와 같은 기법들을 비교한다. 설계상 비강건한 것으로 간주되지만, 오염이 있는 실제 및 시뮬레이션된 HDLSS 데이터셋에서 예측 정확도 측면에서 랜덤 포레스트는 모든 다른 방법보다 일관되게 뛰어난 성능을 보이며, 부트스트랩 표본 추출과 변수 선택을 통해 내재된 강건성을 확보한다.

ABSTRACT

The robustification of pattern recognition techniques has been the subject of intense research in recent years. Despite the multiplicity of papers on the subject, very few articles have deeply explored the topic of robust classification in the high dimension low sample size context. In this work, we explore and compare the predictive performances of robust classification techniques with a special concentration on robust discriminant analysis and robust PCA applied to a wide variety of large $p$ small $n$ data sets. We also explore the performance of random forest by way of comparing and contrasting the differences single model methods and ensemble methods in this context. Our work reveals that Random Forest, although not inherently designed to be robust to outliers, substantially outperforms the existing techniques specifically designed to achieve robustness. Indeed, random forest emerges as the best predictively on both real life and simulated data.

연구 동기 및 목표

• n ≪ p 인 고차원·저표본 크기(HDLSS) 데이터 환경에서 강건한 분류 기법의 예측 성능을 평가하고 비교하는 것.
• 오염과 고차원성이 기존 및 강건한 분류 기법의 성능에 미치는 영향을 조사하는 것.
• 랜덤 포레스트와 같은 앙상블 기법이 강건한 방법으로 명시적으로 설계되지 않았음에도 불구하고, 이상치가 존재하는 HDLSS 환경에서 뛰어난 예측 성능을 달성하는지 평가하는 것.
• 다중분류 및 고차원 환경에서 투영 추적(Projection Pursuit)과 강건한 판별 분석의 한계를 탐색하는 것.
• 특히 암 분류와 같은 생물의학적 적용 분야에서 실제 HDLSS 데이터에 가장 실용적이고 강건한 분류 기법을 식별하는 것.

제안 방법

• 예측 성능 평가를 위해 0-1 손실을 사용하는 반복 교차검증 프레임워크를 활용하여 평균 테스트 오차(AVTE)를 추정하기 위해 R번의 반복을 수행한다.
• 최소공분산행렬식(MCD), 투영 추적, SIMCA, 정규화된 판별 분석, 강건한 PCA를 포함한 강건한 분류 기법을 적용한다.
• 랜덤 포레스트는 부트스트랩 표본 추출과 무작위 특성 부분공간 선택을 통해 이상치의 영향을 내재적으로 감소시키고 고차원성을 처리한다.
• 실제 HDLSS 데이터셋(전립선, 림프종, 폐, 대장, 백혈병, 뇌암)과 제어된 오염 수준을 가진 시뮬레이션 데이터에 대해 방법을 평가한다.
• 시뮬레이션 데이터에서 차원 수(p), 오염 비율(κ), 상관 구조(ρ)의 변화에 따른 성능을 비교한다.
• 변수 상관성과 클래스 수(G=2 또는 G=3)가 방법의 강건성과 예측 정확도에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 오염이 존재하는 고차원·저표본 크기(HDLSS) 데이터에서 강건한 분류 기법의 성능는 어떠한가?
• RQ2 랜덤 포레스트는 강건성에 대해 명시적으로 설계되지 않았음에도 불구하고, 이상치가 존재하는 HDLSS 환경에서 뛰어난 예측 성능를 달성하는가?
• RQ3 왜 투영 추적 기법은 이진 분류에서는 성공했지만, 고상관성 조건에서의 다중분류에서는 실패하는가?
• RQ4 랜덤 포레스트의 변수 선택과 부트스트랩 표본 추출의 조합이 HDLSS 데이터에서의 강건성에 어떻게 기여하는가?
• RQ5 다양한 오염 수준과 차원에서 SIMCA 및 MCD 기반 기법의 랜덤 포레스트 및 기타 강건한 기법 대비 상대적 성능는 어떠한가?

주요 결과

• 랜덤 포레스트는 모든 실제 및 시뮬레이션된 HDLSS 데이터셋에서 일관되게 최고 또는 두 번째로 뛰어난 예측 성능를 기록했으며, 최악의 성능를 보인 경우는 없었다.
• g=2 및 ρ=0.75 조건에서 강력한 오염이 존재하는 시뮬레이션 데이터에서, 랜덤 포레스트는 평균 테스트 오차가 가장 낮게 나타나 MCD 및 투영 추적 기법조차도 앞섰다.
• 투영 추적 기법은 유일하게 이진 분류에서 높은 변수 상관성(ρ=0.75) 조건에서 성능가장 우수했으며, 다중분류 및 저상관성 환경에서는 실패했다.
• SIMCA는 강력한 오염 조건에서도 잘 수행되었으며, 일반적으로 랜덤 포레스트에 이어 두 번째로 높은 순위를 기록하여 오염이 존재하는 HDLSS 상황에서 강력한 실용성을 보였다.
• 강건한 판별 분석 및 PCA 기반 기법은 특히 다중분류 데이터에서 고차원·저표본 크기 환경에서 효과성이 제한적이었다.
• 랜덤 포레스트의 부트스트랩 메커니즘은 훈련 샘플의 약 37%를 내재적으로 배제한다(e⁻¹), 이는 이상치의 영향을 평균화함으로써 강건성에 기여할 가능성이 높다.