[논문 리뷰] Using Dimension Reduction to Improve the Classification of High-dimensional Data

Andreas Grünauer, Markus Vincze|arXiv (Cornell University)|2015. 05. 26.

Machine Learning in Bioinformatics참고 문헌 3인용 수 10

한 줄 요약

이 연구는 훈련 샘플 수가 제한된 고차원 구조적 MRI 데이터에서 분석적 F-검정 특성 선택과 주성분 분석(PCA)을 통한 차원 감소를 평가한다. 결과적으로 두 방법 모두 분류 성능 향상을 보였으며, 특히 12~92개 특성으로 감소시킬 경우 분석적 F-검정이 PCA를 항상 능가함을 확인하였다. 또한 RBF-SVM는 92개 특성에서 최고 성능를 기록하였다.

ABSTRACT

In this work we show that the classification performance of high-dimensional structural MRI data with only a small set of training examples is improved by the usage of dimension reduction methods. We assessed two different dimension reduction variants: feature selection by ANOVA F-test and feature transformation by PCA. On the reduced datasets, we applied common learning algorithms using 5-fold cross-validation. Training, tuning of the hyperparameters, as well as the performance evaluation of the classifiers was conducted using two different performance measures: Accuracy, and Receiver Operating Characteristic curve (AUC). Our hypothesis is supported by experimental results.

연구 동기 및 목표

• 고차원 구조적 MRI 데이터에서 훈련 샘플 수가 적은 조건에서 차원 감소가 분류 정확도를 향상시키는지 조사하는 것.
• 분류기 성능 향상에 있어 필터 기반 특성 선택(분석적 F-검정)과 특성 변환(PCA)의 효과를 비교하는 것.
• 교차검증을 통해 감소된 특성 공간에서 여러 분류기(k-NN, GNB, Ridge, SVM, SVM-RBF, RF)의 성능을 평가하는 것.
• 정확도와 AUC를 성능 지표로 사용하여 초기화수의 최적화가 미치는 영향을 평가하는 것.
• 과적합을 피하면서 분류기 성능을 최대화하는 최적의 특성 수 또는 성분 수를 결정하는 것.

제안 방법

• 분류 평균 간의 차이가 통계적으로 유의미한지 기반으로 상위 s개 특성을 선별하기 위해 분석적 F-검정을 적용하였다.
• 원본 데이터를 분산을 최대화하는 첫 s개 주성분으로 이루어진 저차원 공간으로 투영하기 위해 PCA를 사용하였다.
• 감소된 데이터셋에서 6개의 분류기(k-NN, GNB, Ridge, SVM, SVM-RBF, RF)를 5겹 교차검증을 통해 훈련시켰다.
• 각 분류기의 초기화수를 사전에 정의된 이산 값 집합에서 그리드 서치를 통해 최적화하였다.
• 정확도와 AUC를 성능 지표로 사용하여 성능을 평가하였으며, 각 지표별로 별도로 초기화수 최적화 및 평가를 수행하였다.
• 선택된 특성 수(s = 12에서 184까지)와 주성분 수(s = 3에서 24까지)에 따라 분류기 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 고차원 구조적 MRI 데이터에서 훈련 예제 수가 제한된 조건에서 차원 감소가 분류 성능 향상에 기여하는가?
• RQ2 분석적 F-검정 특성 선택과 PCA 중 어느 방법이 더 나은 분류 결과를 도출하는가?
• RQ3 선택된 특성 수 또는 주성분 수가 다양한 알고리즘에서 분류기 성능에 어떤 영향을 미치는가?
• RQ4 성능 지표 선택(정확도 대비 AUC)이 최적의 초기화수 선택 및 최종 분류기 성능에 영향을 미치는가?
• RQ5 왜 소수의 샘플, 고차원 설정에서 가우시안 나이브 베이즈(GNB)가 선형 판별 분석(LDA)을 능가하는가?

주요 결과

• 분석적 F-검정 특성 선택은 모든 분류기에서 성능 향상을 보였으며, 최적의 결과는 s = 12개 특성에서 달성되었으며, 이는 전체 184개 특성 데이터셋의 성능을 도달하거나 초월하였다.
• RBF-SVM는 분석적 F-검정을 사용할 때 s = 92개 특성에서 최고 성능를 기록하였으며, 이는 더 많은 특성도 과적합으로 인해 성능 향상에 기여하지 않는다는 것을 시사한다.
• PCA 기반 차원 감소 역시 성능 향상을 보였으며, 최적의 결과는 s = 24개 성분에서 달성되었으며, 대부분의 분류기가 성능 최고점에 도달한 후 감소하기 시작하였다.
• k-NN는 성분 수에 관계없이 일관되게 열등한 성능를 보였고, SVM-RBF는 모든 성분 수에서 우수한 강건성을 유지하며 다른 모든 분류기보다 뛰어난 성능를 기록하였다.
• s > 12개 성분일 경우 GNB가 LDA를 능가하였으며, 이는 GNB의 단순한 가정과 소수 샘플 설정에서 공분산 행렬 추정이 신뢰할 수 없을 때의 강건성 덕분으로 여겨진다.
• PCA 기반 감소 데이터에서 s = 12개 성분에서 성능 저하가 나타나는 것은, 성분에 노이즈나 관련성이 없는 성분이 포함되어도 차원 감소로는 이를 방지할 수 없음을 시사하며, 성능 저하의 임계점이 존재함을 시사한다.