[논문 리뷰] Dimension Reduction of High-Dimensional Datasets Based on Stepwise SVM

Elizabeth P. Chou, Tzu-Wei Ko|arXiv (Cornell University)|2017. 11. 09.

Gene expression and cancer classification참고 문헌 14인용 수 3

한 줄 요약

이 논문은 고차원·소형표본(대규모 p 소규모 n) 데이터셋, 특히 유전자 발현 분석에서 차원 감소를 위한 단계적 서포트 벡터 머신(SVM) 방법을 제안한다. SVM를 사용해 개별 변수의 예측 성능을 순차적으로 평가함으로써, 분류 정확도를 향상시키기 위해 안정적이고 노이즈가 감소된 특징의 부분집합을 선택한다. 이는 원본 데이터 및 기타 감소된 데이터셋보다도 높은 분류 정확도를 달성한다.

ABSTRACT

The current study proposes a dimension reduction method, stepwise support vector machine (SVM), to reduce the dimensions of large p small n datasets. The proposed method is compared with other dimension reduction methods, namely, the Pearson product difference correlation coefficient (PCCs), recursive feature elimination based on random forest (RF-RFE), and principal component analysis (PCA), by using five gene expression datasets. Additionally, the prediction performance of the variables selected by our method is evaluated. The study found that stepwise SVM can effectively select the important variables and achieve good prediction performance. Moreover, the predictions of stepwise SVM for reduced datasets was better than those for the unreduced datasets. The performance of stepwise SVM was more stable than that of PCA and RF-RFE, but the performance difference with respect to PCCs was minimal. It is necessary to reduce the dimensions of large p small n datasets. We believe that stepwise SVM can effectively eliminate noise in data and improve the prediction accuracy in any large p small n dataset.

연구 동기 및 목표

• 유전체학 및 계산 생물학에서 흔한 고차원·소형표본 데이터셋의 과제를 해결하기 위해.
• 대규모 p 소규모 n 데이터셋에서 노이즈와 관련 없는 특징을 줄임으로써 분류 성능을 향상시키기 위해.
• 반복 학습 설정에서 안정적이고 계산적으로 효율적이며 효과적인 지도 학습을 위한 차원 감소 방법을 개발하기 위해.
• 실제 유전자 발현 데이터셋에서 기존 기법들인 PCA, 상관관계 기반 필터링, RF-RFE와의 비교를 통해 제안된 방법을 평가하기 위해.

제안 방법

• 이 방법은 순차적 전진 선택 기반의 워퍼 애픈로우를 사용하며, 각 변수의 예측 능력을 SVM을 통해 개별적으로 평가한다.
• 각 단계에서 검증 세트에서 분류 정확도를 가장 향상시키는 변수를 선택하며, 이는 SVM 분류기의 예측률에 기반한다.
• 지정된 수의 특징이 선택되거나 성능이 정체될 때까지 반복적으로 진행된다.
• SVM 분류에선 선형 또는 RBF 커널을 사용하며, 각 데이터셋에 대해 가장 높은 성능을 보인 커널을 선택한다.
• 특징 선택은 상관관계나 분산이 아닌 예측 정확도에 기반하므로, 분류기 의존적이며 학습 과정에 통합된다.
• 감소된 특징 공간에서 샘플 간의 관계를 유지함으로써 데이터의 기하학적 구조를 유지한다.

실험 결과

연구 질문

• RQ1 단계적 SVM는 기존의 차원 감소 기법들인 PCA, 상관관계 필터링, RF-RFE보다 고차원 유전자 발현 데이터셋에서 예측 정확도 측면에서 뛰어나게 작용할 수 있는가?
• RQ2 단계적 SVM를 사용한 차원 감소는 전체 원본 데이터셋을 사용할 때보다 더 나은 분류 성능을 낼 수 있는가?
• RQ3 다양한 유전자 발현 데이터셋에 걸쳐 단계적 SVM의 성능은 다른 방법들과 비교해 얼마나 안정적인가?
• RQ4 대규모 p 소규모 n 환경에서 단계적 SVM는 노이즈를 얼마나 줄이고 모델 일반화 능력을 얼마나 향상시키는가?
• RQ5 일반적으로 한 개씩 특징을 선택하는 방식을 취하는 단계적 SVM의 성능에 변수 간 상관관계와 상호작용은 어떤 영향을 미치는가?

주요 결과

• 단계적 SVM는 다섯 개인 유전자 발현 데이터셋 중 네 개에서 가장 높은 예측 정확도를 기록했으며, Khan 데이터셋에선 98.65%의 정확도, Shipp 데이터셋에선 95.00%의 정확도를 기록했다.
• 원본 전체 데이터셋보다 감소된 데이터셋에서의 분류 성능이 향상되어, 효과적인 노이즈 감소와 특징 선택이 이루어졌음을 시사한다.
• PCA 및 RF-RFE보다 단계적 SVM가 더 안정적인 성능을 보였으며, 성능 변동이 최소였고, PCC 기반 방법들은 뚜렷한 차이를 보이지 않았다.
• Gordon 데이터셋에서 단계적 SVM는 98.61%의 정확도를 기록했으며, 원본 데이터(95.89%) 및 PCA(99.23%)를 초월했고, 더 일관된 결과를 보였다.
• 이 방법은 계산적으로 집약적이지만, 변수 간 상호작용을 무시하는 탐욕스러운 순차적 선택 과정으로 인해 최적의 결과를 도출하지 못했다.
• 히트맵과 환자 유사성 시각화 결과, 단계적 SVM를 사용한 감소된 데이터셋이 의미 있는 샘플 간 관계를 유지함을 확인했으며, 이는 이 방법의 기하학적 정확성을 뒷받침한다.