[논문 리뷰] Feature Selection and Feature Extraction in Pattern Analysis: A Literature Review

Benyamin Ghojogh, Maria N. Samad외 5명|arXiv (Cornell University)|2019. 05. 07.

Neural Networks and Applications인용 수 68

한 줄 요약

패턴 분석에서 특징 선택(feature selection)과 특징 추출(feature extraction)에 대한 이론, 동기, 방법 클래스에 대한 포괄적 고찰로, 응용과 비교를 포함한다.

ABSTRACT

Pattern analysis often requires a pre-processing stage for extracting or selecting features in order to help the classification, prediction, or clustering stage discriminate or represent the data in a better way. The reason for this requirement is that the raw data are complex and difficult to process without extracting or selecting appropriate features beforehand. This paper reviews theory and motivation of different common methods of feature selection and extraction and introduces some of their applications. Some numerical implementations are also shown for these methods. Finally, the methods in feature selection and extraction are compared.

연구 동기 및 목표

• 구분력 또는 표현을 개선하기 위해 패턴 분석에서 전처리의 역할을 정의한다.
• 특징 선택 및 특징 추출 방법과 그 기준을 분류하고 설명한다.
• 일반적인 필터 및 래퍼 특징 선택 방법과 실제적 고려사항을 조사한다.
• 선형 및 비선형 접근을 포함한 차원 축소 및 특징 추출 기법을 조사하고 응용에 대한 논의를 담는다.

제안 방법

• 특성, 샘플 및 타깃에 대한 문제 설정과 형식적 표기법을 소개한다.
• 원래 특징의 부분집합을 선택하여 차원 축소로 특징 선택을 설명하고 필터 및 래퍼 패러다임을 논의한다.
• 주요 필터 방법을 상세히 다룬다: 상관 기준, 상호정보, 카이제곱, Markov blanket, 일관성 기반 필터, 빠른 상관 기반 필터, Interact, mRMR.
• 래퍼 방법 개요: 순차 특징 선택(SFS/SBS, SFFS/SFBS) 및 메타휴리스틱스(PSO, GA).
• 특징 추출을 새로운 표현 학습으로 논의한다( p < d ), PCA(및 이중 PCA), kernel PCA, MDS, Isomap, LLE를 포함하며 감독 학습 대 비감독 학습 및 선형 대 비선형에 대한 주석을 덧붙인다.

실험 결과

연구 질문

• RQ1 정보성이 높은 특징을 선택하는 데 사용되는 주요 기준과 절충은 무엇인가?
• RQ2 필터와 래퍼 접근법은 성능 및 계산 복잡도 측면에서 어떻게 비교되는가?
• RQ3 일반적인 차원 축소 및 특징 추출 기법은 무엇이며 각 기법은 언제 사용해야 하는가?
• RQ4 비선형 매니폴드 방법(Isomap, LLE, kernel PCA)은 실제로 선형 방법과 어떻게 관련되는가?

주요 결과

• 문헌은 특징 선택을 다양한 기준(관련성 및 중복성)으로 필터와 래퍼 방법으로 나뉜다.
• 상관, 상호정보, 카이제곱, Markov blanket 기반 접근법 등 여러 명시적 기준을 다룬다.
• 래퍼 방법은 특징 탐색을 모델 평가와 결합하며 순차적 및 메타휴리스틱 전략을 포함한다.
• 특징 추출은 새로운 저차원 표현 학습으로 축약되며, PCA, 이중 PCA, kernel PCA, MDS, Isomap, LLE를 핵심 기법으로 논의한다.
• 비선형 매니폴드 방법(Isomap, LLE, kernel PCA)은 데이터 기하를 포착하는 데 있어 선형 방법의 한계를 다룬다.
• 본 논문은 서로 다른 차원 축소 접근법을 통일된 프레이밍 아래 연결하고 샘플 밖(out-of-sample) 고려사항을 논의한다.