[논문 리뷰] Faster feature selection with a Dropping Forward-Backward algorithm

Thu L. N. Nguyen|arXiv (Cornell University)|2019. 10. 17.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 고차원 데이터에서 더 빠른 특성 선택을 위한 새로운 드롭핑 포워드-백워드(DFB) 알고리즘을 제안한다. 이 방법은 포워드 선택 과정에서 관련성이 없는 특성을 동적으로 제거함으로써 학습을 가속화한다. 단계적 선택 대비 최대 65.77%의 계산 시간 절감을 이룬다. 오차율과 특성 집합의 품질은 유사하게 유지되며, 특히 $p \gg n$ 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this era of big data, feature selection techniques, which have long been proven to simplify the model, makes the model more comprehensible, speed up the process of learning, have become more and more important. Among many developed methods, forward and stepwise feature selection regression remained widely used due to their simplicity and efficiency. However, they all involving rescanning all the un-selected features again and again. Moreover, many times, the backward steps in stepwise deem unnecessary, as we will illustrate in our example. These remarks motivate us to introduce a novel algorithm that may boost the speed up to 65.77% compared to the stepwise procedure while maintaining good performance in terms of the number of selected features and error rates. Also, our experiments illustrate that feature selection procedures may be a better choice for high-dimensional problems where the number of features highly exceeds the number of samples.

연구 동기 및 목표

• 기존의 포워드 및 단계적 특성 선택 방법의 비효율성을 해결하기 위해, 선택되지 않은 특성들을 반복적으로 재스캔하고 중복된 특성을 포함할 수 있는 문제를 해결한다.
• 낮은 오차율과 최소한의 특성 수를 유지하면서도 더 빠르고 효율적인 특성 선택 방법을 개발한다.
• 고차원 문제($p \gg n$)에서 특성 선택이 주성분 분석(PCA)과 같은 특성 추출 방법보다 더 나은 공분산 추정을 가능하게 하여 성능을 뛰어나게 할 수 있음을 보여준다.
• 런타임이 데이터 차원 뿐 아니라 모델의 흐문성(sparsity)에도 영향을 받으며, 이는 알고리즘 설계에 영향을 준다.
• 조정 가능한 임계값($\alpha$, $\beta$)을 지원하고 조기 정지 또는 특성 순위 출력이 가능한 실용적이고 구성 가능한 알고리즘을 제공한다.

제안 방법

• DFB 알고리즘은 포워드 선택과 동적 백워드 제거를 조합한다: 기준치 향상에 따라 특성이 순차적으로 추가되고, 추가된 후에 기여도가 유의미하지 않으면 즉시 제거된다.
• 각 포워드 추가 후, $\beta$-제거 임계값을 충족하지 못하는 특성은 검사하여 제거하여 중복 특성의 축적을 방지한다.
• 이 방법은 이중 단계 루프를 사용한다: 포워드 단계에서 특성이 추가되고, 그 다음에 '제거' 단계가 이어져 다음 포워드 단계 전에 기여하지 않는 특성을 제거한다.
• 알고리즘은 $\alpha$ 임계값을 초과할 수 없는 개선이 더 이상 없거나 최대 특성 수에 도달했을 때 종료된다.
• 알고리즘은 조정 가능한 임계값($\alpha$: 진입, $\beta$: 제거)을 지원하며, 포워드 단계에서의 포함 순서에 기반한 특성 순위를 출력할 수 있다.
• 이 방법은 LDA 및 기타 분류기들을 사용하여 시뮬레이션된 데이터와 실제 데이터 세트(생분해, 이온오스포어, 옵틱, 인공위성, 파킨슨)에서 평가되었다.

실험 결과

연구 질문

• RQ1 하이브리드 포워드-백워드 특성 선택 방법이 성능 저하 없이 학습 시간을 크게 줄일 수 있는가?
• RQ2 특성 선택의 런타임은 데이터 차원 뿐 아니라 모델의 흐문성에 어떻게 영향을 받는가?
• RQ3 $p \gg n$ 문제에서 특성 선택이 주성분 분석(PCA)과 같은 특성 추출 방법보다 더 나은 대안이 될 수 있는가?
• RQ4 포워드 선택 과정에서 중복 특성을 동적으로 제거하는 방식이 표준 단계적 또는 포워드-백워드 방법보다 효율성이 높은가?
• RQ5 $\alpha$ 및 $\beta$ 임계값이 특성 선택 과정의 속도와 안정성에 어떤 영향을 미치는가?

주요 결과

• 특성 수 $p=70$인 시뮬레이션 데이터에서 DFB 알고리즘은 포워드-백워드 방법보다 21.89% 빠르고, 단계적 선택보다 23.11% 더 빠르며, 동일한 특성 수(4개)를 유지했다.
• 옵틱 데이터셋에서 DFB 방법은 24.045초가 걸려 단계적 선택의 34.23%의 시간만을 차지했고, 포워드-백워드 방법의 66.29%에 해당했다.
• 파킨슨 데이터셋에서 DFB는 단계적 선택의 25.486초에서 2.691초로 89.3%의 속도 향상을 이뤘으며, 단지 10개의 특성만 선택한 반면 단계적 선택은 24개의 특성을 선택했다.
• 모든 실제 데이터셋에서 DFB는 오차율이 단계적 선택 및 포워드-백워드 방법과 동일하거나 더 낮게 유지되었으며, 특히 LDA 분류에서 PCA보다 뛰어난 성능을 보였다.
• 알고리즘의 런타임은 특성 수에 비례하지 않았다. 예를 들어, 파킨슨(753개 특성)은 옵틱(64개 특성)보다 더 빠르게 실행되어 모델의 흐문성에 강한 의존성을 보였다.
• 모든 방법에서 선택된 특성 수는 안정적이었으며, 1000번의 시뮬레이션에서 DFB는 단계적 선택의 특성 수를 두 배 이상 초과한 적이 없었다.