[논문 리뷰] Efficient Wrapper Feature Selection using Autoencoder and Model Based Elimination

Sharan Ramjee, Aly El Gamal|arXiv (Cornell University)|2019. 05. 28.

Machine Learning in Bioinformatics참고 문헌 26인용 수 4

한 줄 요약

이 논문은 자동에코더를 이용한 상관성 탐지와 단일 학습 순위 모델을 통한 관련성 점수 평가를 조합한 계산적으로 효율적인 래퍼 특성 선택 방법인 AMBER를 제안한다. 이는 재학습 없이도 탐욕적 뒤로 제거를 가능하게 한다. AMBER는 여러 데이터셋에서 기준 방법보다 높은 분류 정확도를 달성하였으며, 256개의 특성에서 64개로 감소시킨 후 RadioML2016.10b에서 99%의 정확도를 기록하여 전통적인 래퍼 방법에 비해 계산 비용을 줄였지만 뛰어난 성능을 보였다.

ABSTRACT

We propose a computationally efficient wrapper feature selection method - called Autoencoder and Model Based Elimination of features using Relevance and Redundancy scores (AMBER) - that uses a single ranker model along with autoencoders to perform greedy backward elimination of features. The ranker model is used to prioritize the removal of features that are not critical to the classification task, while the autoencoders are used to prioritize the elimination of correlated features. We demonstrate the superior feature selection ability of AMBER on 4 well known datasets corresponding to different domain applications via comparing the classification accuracies with other computationally efficient state-of-the-art feature selection techniques. Interestingly, we find that the ranker model that is used for feature selection does not necessarily have to be the same as the final classifier that is trained on the selected features. Finally, we note how a smaller number of features can lead to higher accuracies on some datasets, and hypothesize that overfitting the ranker model on the training set facilitates the selection of more salient features.

연구 동기 및 목표

• 각 반복 단계에서 분류기 재학습이 필요한 전통적인 래퍼 특성 선택 방법의 높은 계산 비용을 해결하기 위해.
• 일반적으로 특성 상관관계를 忽시하는 래퍼 방법에 자동에코더를 통한 상관성 탐지를 통합하여 특성 선택 정확도를 향상시키기 위해.
• 단 한 번의 학습으로 순위 모델을 학습시켜 학습 시간을 단축시키면서도 높은 분류 성능를 유지하기 위해.
• 순위 모델의 과적합이 특성 관련성 점수의 구분 능력에 미치는 영향을 탐구하기 위해.
• 특히 고차원 설정에서 계산 효율성(필터 방법 수준)과 높은 성능(래퍼 방법 수준)을 균형 있게 확보하기 위해.

제안 방법

• AMBER는 입력 레이어의 가중치 크기 기반으로 특성의 관련성 점수를 할당하기 위해 사전에 학습된 단일 순위 모델(예: 신경망)을 사용한다.
• 자기에코더는 데이터셋에 대해 학습되어 상관관계가 있는 특성을 식별하고 그룹화함으로써 중복 특성 탐지를 가능하게 한다.
• 관련성(순위 모델에서 유래)과 중복성(자기에코더 복원 오차에서 유래)을 기반으로 복합 점수를 사용하여 특성의 제거 순서를 정한다.
• 탐욕적 뒤로 제거는 각 단계에서 관련성이 가장 낮고 중복성이 가장 높은 특성을 반복적으로 제거함으로써 수행된다.
• 최종 특성 부분집합은 감소된 특성 집합에서 순위 모델의 성능에 기반하여 선택되며, 전체 재학습 없이도 모델 정확도를 시뮬레이션한다.
• 더 많은 학습 에포크를 통해 순위 모델을 과적합시키면, 유의미한 특성와 비유의미한 특성의 입력 레이어 가중치 크기 간의 차이가 증가하여 관련성 점수의 구분 능력이 향상된다.

실험 결과

연구 질문

• RQ1 단일 학습 순위 모델과 자동에코더를 조합하여 계산 비용을 크게 줄이면서도 경쟁 가능한 특성 선택 정확도를 달성할 수 있는가?
• RQ2 자기에코더를 통한 상관성 탐지를 통합함으로써 기존의 래퍼 방법에 비해 특성 선택 성능가 향상되는가?
• RQ3 순위 모델을 과적합시킴으로써 유의미한 특성와 비유의미한 특성 간의 관련성 점수 차이를 향상시킬 수 있는가?
• RQ4 다양한 실제 데이터셋에서 AMBER는 최신의 필터 및 래퍼 방법에 비해 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ5 AMBER를 통한 특성 감소가 고차원 데이터셋에서 과적합을 완화하고 일반화 성능를 향상시키는 데 얼마나 기여하는가?

주요 결과

• AMBER는 4개의 벤치마크 데이터셋에서 비교된 최신 기법들 전부보다 높은 분류 정확도를 달성하였으며, 256개의 특성을 64개로 감소시킨 후 RadioML2016.10b 데이터셋에서 99%의 정확도를 기록하였다.
• 위스콘신 유방암 데이터셋에서 AMBER는 전체 특성 모델을 초월하는 정확도를 달성하여, 노이즈 또는 중복 특성을 제거함으로써 과적합을 완화시켰다는 것을 시사한다.
• RadioML2016.10b 데이터셋에서 전체 256개 특성 사용 시 정확도가 93%였지만, 64개의 선택된 특성으로 감소시킨 후 99%로 상승하여 효과적인 노이즈 및 중복 제거가 이루어졌음을 보여준다.
• PCA 시각화 결과, AMBER는 감소된 특성 공간에서 클래스 간 분리도를 향상시켰으며, 특히 이전에는 잘못 분류되었던 AM-DSM 및 WBFM 클래스에서 두드러진 개선이 관찰되었다.
• 더 많은 학습 에포크를 통해 순위 모델을 과적합시킴으로써, 유의미한 특성와 비유의미한 특성 간의 입력 레이어 가중치 크기 간 격차가 증가하여 관련성 점수의 분류 능력이 향상됨을 확인하였다.
• 전통적인 래퍼 방법(각 반복에서 재학습이 필요함)보다 훨씬 적은 시간이 소요되었으며, 가장 빠른 필터 방법보다 略로 더 오래 걸렸지만, 속도와 정확도 사이에 뛰어난 균형을 확보하였다.