[논문 리뷰] A new robust feature selection method using variance-based sensitivity analysis

Saman Sadeghyan|arXiv (Cornell University)|2018. 04. 13.

Probabilistic and Robust Engineering Design참고 문헌 18인용 수 13

한 줄 요약

이 논문은 고차원 데이터셋에서 모델 성능과 계산 효율성을 향상시키기 위해 분산 기반 민감도 분석을 통해 확장된 푸리에 진폭 민감도 테스트(eFAST)와 피드포워드 신경망(FNN) 모델을 결합한 새로운 강건한 특성 선택 방법을 제안한다. 전역 민감도 측정을 통해 특성 중요도를 정량화함으로써, 이 방법은 최적의 특성 부분집합을 식별하며, UCI 기준 데이터셋에 대한 실험적 검증을 통해 향상된 정확도와 안정성을 보였다.

ABSTRACT

Excluding irrelevant features in a pattern recognition task plays an important role in maintaining a simpler machine learning model and optimizing the computational efficiency. Nowadays with the rise of large scale datasets, feature selection is in great demand as it becomes a central issue when facing high-dimensional datasets. The present study provides a new measure of saliency for features by employing a Sensitivity Analysis (SA) technique called the extended Fourier amplitude sensitivity test, and a well-trained Feedforward Neural Network (FNN) model, which ultimately leads to the selection of a promising optimal feature subset. Ideas of the paper are mainly demonstrated based on adopting FNN model for feature selection in classification problems. But in the end, a generalization framework is discussed in order to give insights into the usage in regression problems as well as expressing how other function approximate models can be deployed. Effectiveness of the proposed method is verified by result analysis and data visualization for a series of experiments over several well-known datasets drawn from UCI machine learning repository.

연구 동기 및 목표

• 고차원 데이터셋에서 관련 있는 특성을 선택하여 모델의 단순성과 계산 효율성을 향상시키는 데 도전하는 것.
• 노이즈와 데이터 분포 변화에 민감하지 않은 강건한 특성 선택 프레임워크를 개발하는 것.
• 분산 기반 민감도 분석을 기계학습 모델과 통합하여 신뢰할 수 있는 특성 중요도 정량화를 수행하는 것.
• 분류 문제를 넘어 회귀 문제 및 기타 함수 근사기로의 일반화를 수행하는 것.

제안 방법

• 각 입력 특성에 대한 전역 민감도 지수를 계산하기 위해 확장된 푸리에 진폭 민감도 테스트(eFAST)를 사용한다.
• 복잡한 입력-출력 관계를 포착하기 위해 잘 훈련된 피드포워드 신경망(FNN)을 기반 모델로 사용한다.
• 특성의 소요 기여도를 측정하기 위해 총 민감도 지수(ST)를 사용하며, 이는 출력 분산에 대한 각 특성의 기여도를 정량화한다.
• 특성 중요도 순서에 따라 특성들을 순위 매기고, 상위 순위의 부분집합을 후속 모델링에 사용한다.
• 연속적인 출력을 고려하여 민감도 분석을 조정함으로써 이 프레임워크를 회귀 작업으로 일반화한다.
• 특성 중요도 및 모델 성능의 시각화와 통계 분석을 통해 UCI 기준 데이터셋을 사용해 검증한다.

실험 결과

연구 질문

• RQ1 분산 기반 민감도 분석을 어떻게 효과적으로 고차원 데이터셋에서 가장 영향력 있는 특성을 식별하는 데 적용할 수 있는가?
• RQ2 기존 특성 선택 기법과 비교할 때 제안된 방법이 모델 정확도와 강건성에 얼마나 향상시키는가?
• RQ3 민감도 기반 특성 선택 프레임워크는 분류 문제에서 회귀 문제로 일반화될 수 있는가?
• RQ4 다양한 노이즈 수준과 데이터 분포에서 특성 순위는 얼마나 안정적인가?
• RQ5 선택된 특성 부분집합은 계산 효율성과 모델 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 기준 특성 선택 기법과 비교해 여러 UCI 데이터셋에서 높은 분류 정확도를 달성했다.
• 민감도 기반 특성 순위는 다양한 노이즈 조건에서도 강건성을 보이며, 특성 중요도 추정의 안정성을 시사한다.
• 모델 성능을 유지하거나 향상시키면서도 특성 차원을 효과적으로 감소시켰다.
• 민감도 지수의 시각화를 통해 특성 중요도의 명확한 패턴을 확인할 수 있었으며, 이는 모델의 해석 가능성 향상에 기여했다.
• 프레임워크는 성공적으로 회귀 작업으로 확장되었으며, 다양한 데이터 유형에서 일관된 성능 향상을 보였다.
• FNN을 서rogate 모델로 사용함으로써 데이터 내 복잡한 비선형 관계를 정확하게 근사할 수 있었다.