[논문 리뷰] Feature Selection Using Classifier in High Dimensional Data

Vijendra Singh, Shivani Pathak|arXiv (Cornell University)|2014. 01. 05.

Gene expression and cancer classification참고 문헌 6인용 수 3

한 줄 요약

이 논문은 고차원 데이터를 감소시키면서 분류 성능을 유지하기 위해 QDA 및 LDA 분류기들을 사용하여 필터 및 워퍼 방법을 융합한 하이브리드 특성 선택 접근법을 제안한다. 실험 결과, 다변량 기준에 기반한 필터 방법이 순차적 특성 선택을 사용하는 워퍼 방법보다 더 낮은 오분류 오차율을 기록함을 입증하였으며, 특히 생물정보학 데이터셋에서 두드러진다.

ABSTRACT

Feature selection is frequently used as a pre-processing step to machine learning. It is a process of choosing a subset of original features so that the feature space is optimally reduced according to a certain evaluation criterion. The central objective of this paper is to reduce the dimension of the data by finding a small set of important features which can give good classification performance. We have applied filter and wrapper approach with different classifiers QDA and LDA respectively. A widely-used filter method is used for bioinformatics data i.e. a univariate criterion separately on each feature, assuming that there is no interaction between features and then applied Sequential Feature Selection method. Experimental results show that filter approach gives better performance in respect of Misclassification Error Rate.

연구 동기 및 목표

• 기계학습에서 고차원 데이터 문제를 해결하기 위해 특성 공간을 축소하면서 분류 정확도를 유지하는 것을 목적으로 한다.
• 고차원 환경에서 필터 및 워퍼 특성 선택 방법의 효과성을 비교하는 것을 목적으로 한다.
• 차원 감소를 위한 특성 선택을 이끄는 QDA 및 LDA 분류기의 성능을 평가하는 것을 목적으로 한다.
• 일변량 필터 방법이 오분류 오차 측면에서 순차적 워퍼 방법을 능가하는지 여부를 판단하는 것을 목적으로 한다.
• 생물정보학 데이터셋에서 특성 선택이 분류 성능 향상에 얼마나 기여하는지 평가하는 것을 목적으로 한다.

제안 방법

• 필터 방법은 각 특성에 대해 독립적으로 일변량 기준을 적용하여 상호작용을 고려하지 않고 개별 특성의 관련성에 기반해 특성의 순위를 매기고 선택한다.
• 워퍼 방법은 QDA 및 LDA를 평가 기준으로 사용하는 순차적 특성 선택(Sequential Forward Selection, SFS)을 사용하여 반복적으로 특성 부분집합을 선택한다.
• 특성 선택은 LDA 및 QDA 분류기를 기반 모델로 사용하여 부분집합의 성능를 평가하는 방식으로 수행된다.
• 필터 접근법은 분류기 학습 없이 통계 기준에 기반해 특성 평가를 수행하는 반면, 워퍼 접근법은 분류기 정확도를 평가 지표로 사용한다.
• 두 방법 모두 생물정보학 데이터셋에서 오분류 오차율에 미치는 영향을 평가하기 위해 비교 분석된다.
• 성능 평가는 여러 데이터셋을 대상으로 오분류 오차율을 주요 지표로 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 고차원 생물정보학 데이터에서 필터 방법이 오분류 오차율 측면에서 워퍼 방법을 능가하는가?
• RQ2 특성 간 상호작용을 무시할 경우 일변량 필터 기준은 관련 특성을 얼마나 효과적으로 선택하는가?
• RQ3 QDA 및 LDA 분류기는 고차원 데이터셋에서 워퍼 기반 특성 선택의 효과적인 평가자로 기능할 수 있는가?
• RQ4 특성 선택에 의한 차원 감소가 분류 성능 향상에 얼마나 기여하는가?
• RQ5 고차원 데이터에서 특성 독립성 가정이 필터 방법의 실질적 적용에 타당한가?

주요 결과

• 평가된 모든 데이터셋에서 필터 방법이 워퍼 방법보다 낮은 오분류 오차율을 기록하였다.
• 특성 간 상호작용을 고려하지 않아도 일변량 필터 기준이 관련 특성을 효과적으로 식별하여 뛰어난 성능을 달성하였다.
• QDA 및 LDA를 워퍼 분류기로 사용한 순차적 특성 선택은 단순한 필터 방법을 능가하지 못하였다.
• 워퍼 프레임워크에서 LDA 및 QDA를 사용함으로써 분류 정확도가 필터 방법보다 유의미하게 향상되지 않았다.
• 결과적으로 필터 접근법이 고차원 데이터, 특히 생물정보학적 맥락에서 더 효율적이고 효과적임을 시사한다.
• 연구는 특성 선택이 오분류 오차를 크게 감소시킴을 확인하였으며, 필터 방법이 성능과 계산 비용의 최적 균형을 제공함을 입증한다.