[논문 리뷰] On Supervised Feature Selection from High Dimensional Feature Spaces

Yijing Yang, Wei Wang외 2명|arXiv (Cornell University)|2022. 03. 22.

Face and Expression Recognition인용 수 4

한 줄 요약

이 논문은 고차원 공간에서의 지도 학습을 위한 특징 선택을 위해 분류에 적합한 특징의 분류 능력을 측정하는 가중 엔트로피를 사용하는 분류 특징 테스트(DFT)와 회귀 타깃에 대한 특징의 관련성을 평가하는 가중 평균제곱오차(MSE)를 사용하는 관련 특징 테스트(RFT)를 제안한다. LeNet-5의 특징을 사용한 MNIST 및 Fashion-MNIST에 대한 실험 결과, DFT와 RFT는 근사 최적의 분류 및 회귀 성능를 유지하면서도 훨씬 낮은 차원의 안정된 특징 부분공간을 도출한다.

ABSTRACT

The application of machine learning to image and video data often yields a high dimensional feature space. Effective feature selection techniques identify a discriminant feature subspace that lowers computational and modeling costs with little performance degradation. A novel supervised feature selection methodology is proposed for machine learning decisions in this work. The resulting tests are called the discriminant feature test (DFT) and the relevant feature test (RFT) for the classification and regression problems, respectively. The DFT and RFT procedures are described in detail. Furthermore, we compare the effectiveness of DFT and RFT with several classic feature selection methods. To this end, we use deep features obtained by LeNet-5 for MNIST and Fashion-MNIST datasets as illustrative examples. Other datasets with handcrafted and gene expressions features are also included for performance evaluation. It is shown by experimental results that DFT and RFT can select a lower dimensional feature subspace distinctly and robustly while maintaining high decision performance.

연구 동기 및 목표

• 고차원 입력에서의 차원의 극복 문제를 해결하기 위해 분류 능력이 뛰어나고 관련성이 높은 특징 부분공간을 식별하는 것.
• 반복적인 모델 학습 없이도 효율적인 계산을 보장하는 필터 기반 특징 선택 방법을 개발하여 기존 기법들을 능가하는 저차원, 고성능 특징 부분집합을 선별하는 것.
• 딥 레이어 특징을 포함한 이미지 데이터셋에서 제안된 방법의 안정성과 효능을 평가하는 것.
• DFT와 RFT가 특징 중요도 곡선에서 명확한 '팔꿈치' 점을 생성함으로써 신뢰할 수 있는 차원 축소를 가능하게 한다는 것을 입증하는 것.

제안 방법

• DFT는 분류 작업에서 특징의 분류 능력을 측정하기 위해 가중 엔트로피를 사용하며, 클래스 간 분리 능력에 따라 특징을 순위 매긴다.
• RFT는 회귀 타깃에 대한 특징의 관련성을 평가하기 위해 가중 평균제곱오차(MSE)를 사용하며, 이는 회귀 작업에서의 특징 순위 매기기에 활용된다.
• 이 방법들은 학습 알고리즘과 독립적으로 작동하는 필터 기반 방법이며, 반복적인 모델 학습 없이도 특징을 점수화한다.
• 특징 선택은 DFT/RFT 점수 곡선의 '팔꿈치' 지점을 식별하여 수행되며, 이는 차원 수와 성능 간의 최적의 균형을 나타낸다.
• LeNet-5에서 추출한 딥 특징에 대해 MNIST 및 Fashion-MNIST에 적용하였으며, PCA 전처리와 노이즈에 대한 내성 테스트를 수행하였다.
• 분류 정확도와 회귀 MSE를 기준으로 분산, 상관관계, XGBoost 특징 중요도(FI)와의 성능 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 DFT와 RFT는 고차원 이미지 데이터에서 높은 분류 성능를 유지하면서도 저차원 특징 부분공간을 식별할 수 있는가?
• RQ2 분산, 상관관계, XGBoost 특징 중요도와 비교할 때 DFT/RFT 점수 곡선의 팔꿈치 지점은 신뢰성과 명확성 측면에서 어떻게 다른가?
• RQ3 DFT와 RFT는 이미지 분류 및 회귀 작업에서 노이즈가 있는 입력 데이터에 대해 얼마나 내성적인가?
• RQ4 PCA 전처리는 DFT와 RFT에 의한 특징의 분포와 선택에 어떤 영향을 미치는가?

주요 결과

• 분산, 상관관계, XGBoost 특징 중요도와 비교해 DFT와 RFT는 특징 중요도 곡선에서 더 명확하고 안정적인 팔꿈치 지점을 생성하여 차원 축소 결정을 더욱 명확히 한다.
• MNIST 및 Fashion-MNIST에서 RFT는 전체 특징의 25~37.5%만 사용해도 전체 특징 집합과 비교해 회귀 MSE의 20~30% 이내의 성능를 기록하며 높은 효율성을 보였다.
• 100차원 특징을 사용할 경우, RFT는 MNIST에서 0.91, Fashion-MNIST에서 1.48의 회귀 MSE를 기록했으며, 이는 후행 팔꿈치 지점에서 분산 및 상관관계 기반 방법을 능가했다.
• PCA를 적용했을 때 DFT를 통해 선택된 특징 부분집합은 첫 20~50개 주성분에 더 집중되어 있어 주된 분산 방향과 잘 일치함을 시사한다.
• DFT와 RFT는 노이즈가 있는 입력 조건에서도 높은 성능를 유지하며, 특징 선택 과정에서 데이터 손상에 대해 강건함을 입증했다.
• 기본 방법들보다 훨씬 낮은 차원의 특징 부분공간을 도출하면서도 근사 최적의 성능를 유지함으로써, 고차원 환경에서의 효과성을 확인했다.