[논문 리뷰] Iterative Supervised Principal Components

Juho Piironen, Aki Vehtari|arXiv (Cornell University)|2017. 10. 17.

Gene expression and cancer classification참고 문헌 13인용 수 7

한 줄 요약

이 논문은 반복적으로 목표 변수와 가장 예측 가능한 관련성을 가진 특징을 선택함으로써 감독 스크리닝과 주성분 분석을 결합하는 모델 독립적인 차원 감소 기법인 반복 감독 주성분(Iterative Supervised Principal Components, ISPC)을 제안한다. 기존의 SPCA와 비교해 교차 검증을 통한 튜닝이 필요 없고 다중 분류 문제를 처리할 수 있어 예측 성능이 경쟁력 있고, 고차원 데이터의 시각화 성능이 뛰어나면서도 계산 비용이 거의 들지 않는다.

ABSTRACT

In high-dimensional prediction problems, where the number of features may greatly exceed the number of training instances, fully Bayesian approach with a sparsifying prior is known to produce good results but is computationally challenging. To alleviate this computational burden, we propose to use a preprocessing step where we first apply a dimension reduction to the original data to reduce the number of features to something that is computationally conveniently handled by Bayesian methods. To do this, we propose a new dimension reduction technique, called iterative supervised principal components (ISPC), which combines variable screening and dimension reduction and can be considered as an extension to the existing technique of supervised principal components (SPCs). Our empirical evaluations confirm that, although not foolproof, the proposed approach provides very good results on several microarray benchmark datasets with very affordable computation time, and can also be very useful for visualizing high-dimensional data.

연구 동기 및 목표

• 특징 수가 학습 인스턴스 수보다 훨씬 많은 고차원 예측 문제에서 완전 베이지안 추론의 계산 부담을 해결하기 위해.
• 예측 성능를 향상시키면서도 베이지안 방법에 대해 계산적으로 실현 가능한 차원 감소 기법을 개발하기 위해.
• 교차 검증에 의존하지 않고 다중 분류 문제를 지원하도록 감독 주성분 분석(SPC)을 확장하기 위해.
• 기본 마이크로어레이 및 텍스트 데이터셋에서 ISPC의 예측 모델링 및 탐색적 데이터 시각화 성능을 평가하기 위해.

제안 방법

• ISPC는 각 단계에서 목표 변수와 상관관계가 가장 높은 특징을 선택함으로써 반복적인 감독 스크리닝을 수행한다.
• 선택된 특징들에 대해 주성분 분석(PCA)을 수행하여 새로운 특징을 생성함으로써 감독 기반의 차원 감소된 특징 공간을 형성한다.
• 퍼미터제이션 테스트를 사용하여 최적의 성분 수를 결정함으로써 과적합을 줄이고 교차 검증을 피한다.
• 필요에 따라 감독 성분과 비감독 성분을 결합하여 전반적인 데이터 구조를 유지하고 모델의 강건성을 향상시킨다.
• 알고리즘은 모델 독립적이며, 어떤 베이지안 또는 빈도주의 예측 모델의 전처리 단계로 적용 가능하다.
• 계산 효율성이 뛰어나며, 주요 비용은 퍼미터제이션 테스트이지만, 큰 데이터셋에서도 처리 가능하다.

실험 결과

연구 질문

• RQ1 반복적 감독 기반 차원 감소 방법이 고차원 마이크로어레이 및 텍스트 데이터셋에서 표준 PCA나 SPCA보다 예측 정확도에서 뛰어나게 될 수 있는가?
• RQ2 ISPC는 PCA나 SPCA보다 고차원 레이블이 부여된 데이터의 저차원 시각화를 더 잘 제공하는가?
• RQ3 예측 성능와 계산 효율성 측면에서 ISPC는 라소 회귀나 리지 회귀보다 어떻게 비교되는가?
• RQ4 교차 검증을 통한 튜닝 없이도 ISPC는 다중 분류 문제에 효과적으로 적용될 수 있는가?
• RQ5 비감독 성분의 포함이 ISPC에 유익한가, 그리고 과적합을 줄이는 데 기여하는가?

주요 결과

• ISPC는 Ovarian 및 Lung-5c 데이터셋을 비롯한 여러 마이크로어레이 데이터셋에서 PCA 및 SPCA보다 더 뛰어난 예측 성능를 보였지만, 평균적으로는 SPCA가 약간 더 뛰어났다.
• 시각화 측면에서 ISPC는 Basehock 및 PCMac 데이터셋에서 PCA나 SPCA보다 적어도 동등하거나 더 나은 2차원 표현을 일관되게 생성하였다.
• 성분 수 선택에 퍼미터제이션 테스트를 사용함으로써, 난이도 있는 ISPC(ISPCA-naive)에 비해 과적합이 크게 감소하여 Colon 및 Prostate 데이터셋에서 성능이 향상되었다.
• ISPC에 비감독 성분을 포함시킨(ISPCA) 결과 일부 데이터셋(예: PCMac, Arcene)에서 성능 향상이 있었지만, SPCA에서는 효과가 덜 두드러졌다.
• 계산 측면에서 ISPC는 매우 효율적이었으며, 대부분의 데이터셋에서 모델 피팅에 몇 초 내로 끝났고, 큰 n과 D에서도 확장성이 유지되었다.
• 어느 한 방법이 항상 최적은 아니었지만, ISPC, SPCA, PCA는 모두 라소 회귀나 리지 회귀보다 예측 정확도에서 유의미하게 뛰어났다.