[논문 리뷰] SPSA-FSR: Simultaneous Perturbation Stochastic Approximation for Feature Selection and Ranking

Zeren D. Yenice, Niranjan Adhikari외 4명|arXiv (Cornell University)|2018. 04. 16.

Neural Networks and Applications참고 문헌 3인용 수 9

한 줄 요약

이 논문은 바지라이-보이빈(BB) 방법을 동시 섭동 확률적 근사(SPSA) 프레임워크와 통합하여 수렴 속도를 향상시키는 새로운 워퍼 기반 특성 선택 알고리즘인 SPSA-FS를 제안한다. 단계 크기와 기울기 추정을 매끄럽게 함으로써 SPSA-FS는 최소한의 정확도 손실로 계산 비용을 크게 감소시키며, 특히 회귀 작업에서 기준 워퍼 방법들보다 뛰어나게 작동한다. 더 적은 특성으로 낮은 오차율(1−R²)을 달성한다.

ABSTRACT

This manuscript presents the following: (1) an improved version of the Binary Simultaneous Perturbation Stochastic Approximation (SPSA) Method for feature selection in machine learning (Aksakalli and Malekipirbazari, Pattern Recognition Letters, Vol. 75, 2016) based on non-monotone iteration gains computed via the Barzilai and Borwein (BB) method, (2) its adaptation for feature ranking, and (3) comparison against popular methods on public benchmark datasets. The improved method, which we call SPSA-FSR, dramatically reduces the number of iterations required for convergence without impacting solution quality. SPSA-FSR can be used for feature ranking and feature selection both for classification and regression problems. After a review of the current state-of-the-art, we discuss our improvements in detail and present three sets of computational experiments: (1) comparison of SPSA-FS as a (wrapper) feature selection method against sequential methods as well as genetic algorithms, (2) comparison of SPSA-FS as a feature ranking method in a classification setting against random forest importance, chi-squared, and information main methods, and (3) comparison of SPSA-FS as a feature ranking method in a regression setting against minimum redundancy maximum relevance (MRMR), RELIEF, and linear correlation methods. The number of features in the datasets we use range from a few dozens to a few thousands. Our results indicate that SPSA-FS converges to a good feature set in no more than 100 iterations and therefore it is quite fast for a wrapper method. SPSA-FS also outperforms popular feature selection as well as feature ranking methods in majority of test cases, sometimes by a large margin, and it stands as a promising new feature selection and ranking method.

연구 동기 및 목표

• 워퍼 기반 특성 선택에서 이진 SPSA(BSPSA) 알고리즘의 느린 수렴 문제를 해결한다.
• 예측 정확도를 유지하면서 특성 선택의 계산 비용을 감소시킨다.
• 분류 및 회귀 작업 모두에서 최적의 특성 조합을 효율적으로 식별하는 데에 기여한다.
• 적응형 단계 크기 및 기울기 추정을 통합하여 워퍼 방법의 실행 시간과 정확도의 균형을 맞춘다.
• 기존 워퍼 방법들과 비교해 SPSA-FS의 뛰어난 성능을 입증한다. 특히 제한된 특성 수를 가진 회귀 작업에서 두각을 나타낸다.

제안 방법

• 스토캐스틱 가짜 기울기 경사 하강 프레임워크를 사용해 이진 특성 선택을 위한 동시 섭동 확률적 근사(SPSA) 알고리즘을 적응시킨다.
• 수렴 속도와 안정성을 향상시키기 위해 바지라이-보이빈(BB) 방법을 도입해 단계 크기를 동적으로 조정한다.
• 특성 차원에 관계없이 매 반복마다 오직 두 번의 함수 평가로도 성능 지표(예: 오분류 오차 또는 R²)의 기울기를 추정하기 위해 동시에 섭동을 사용한다.
• 특성 조합을 이진 표현(제외된 경우 0, 포함된 경우 1)으로 표현하고, 기울기 추정치를 사용해 스토캐스틱 근사 방법으로 조합을 갱신한다.
• 반복 과정 전반에 걸쳐 평균 기울기 추정치를 유지하여 분산을 줄이고 수렴 신뢰도를 향상시킨다.
• BB 방법의 적응형 단계 크기 전략을 SPSA와 융합하여 계산 오버헤드를 줄이면서도 해의 품질을 유지한다.

실험 결과

연구 질문

• RQ1 BB 방법을 SPSA와 통합함으로써 워퍼 기반 특성 선택에서 수렴 속도를 향상시킬 수 있는가? 정확도 손실 없이 가능할까?
• RQ2 다양한 분류 데이터셋에서 SPSA-FS는 다른 워퍼 방법들에 비해 오분류 오차 측면에서 어떻게 성능을 내는가?
• RQ3 기본 워퍼 방법들과 비교해 SPSA-FS는 더 적은 설명 변수를 사용할 경우 회귀 작업에서 오차율(1−R²)을 얼마나 줄일 수 있는가?
• RQ4 BSPSA 및 기타 워퍼 알고리즘과 비교해 SPSA-FS는 계산 비용과 예측 성능 간의 균형을 얼마나 더 잘 달성하는가?
• RQ5 분류 vs. 회귀, 특성 수 등 어떤 상황에서 SPSA-FS는 기존 방법들에 비해 가장 뚜렷한 이점을 보이는가?

주요 결과

• SPSA-FS는 정확도를 유사하거나 더 높게 유지하면서 BSPSA보다 훨씬 낮은 계산 비용을 기록했다.
• 회귀 작업에서 SPSA-FS는 사용된 특성 수가 30%일 때조차도 다른 워퍼 방법들보다 낮은 오차율(1−R²)을 달성하며 뛰어난 성능을 보였다.
• 기타 방법들보다 더 적은 특성으로 최적의 성능에 도달했으며, 모든 특성(100% 특성 집합)을 사용할 경우 성능 차이가 거의 없어졌다.
• 분류 작업에서 일부 데이터셋에서는 SPSA-FS가 다른 워퍼 방법들보다 더 높은 정확도를 달성했고, 성능이 열 劣수일 경우에도 성능 차이가 미미했다.
• BB 방법을 SPSA와 융합함으로써 모델 재학습 반복 횟수를 줄였고, 해의 품질에 큰 손실 없이 더 빠른 수렴을 이끌어냈다.
• SPSA-FS는 Sonar, Libras, Musk, USPS, Boston Housing 등 다양한 데이터셋에서 뛰어난 안정성과 일관성 있는 효율성 및 정확도 향상을 보였다.