[논문 리뷰] Feature Selection and Feature Extraction in Pattern Analysis: A Literature Review

Benyamin Ghojogh, Maria N. Samad외 5명|arXiv (Cornell University)|2019. 05. 07.

Face and Expression Recognition참고 문헌 97인용 수 44

한 줄 요약

이 논문은 패턴 분석을 위한 특징 선택과 특징 추출의 이론, 동기 및 응용을 조사하고, 간략한 수치 구현 및 비교와 함께 주요 방법들을 목록화한다.

ABSTRACT

Pattern analysis often requires a pre-processing stage for extracting or selecting features in order to help the classification, prediction, or clustering stage discriminate or represent the data in a better way. The reason for this requirement is that the raw data are complex and difficult to process without extracting or selecting appropriate features beforehand. This paper reviews theory and motivation of different common methods of feature selection and extraction and introduces some of their applications. Some numerical implementations are also shown for these methods. Finally, the methods in feature selection and extraction are compared.

연구 동기 및 목표

• 패턴 분석에서 구분과 표현력을 향상시키기 위한 전처리 필요성의 동기를 부여한다.
• 주요 특징 선택 및 특징 추출 방법을 분류하고 설명한다.
• 각 방법이 최적화하는 목표(관련성, 중복성, 일관성 등)와 실용적 구현을 요약한다.
• 방법들의 비교적 관점과 분류, 회귀, 클러스터링에서의 일반적 응용을 제공한다.

제안 방법

• 특징 선택/추출에 사용되는 샘플, 특징, 목표에 대한 형식적 기호를 정의한다.
• 선택된 특징들이 원래 특징의 부분집합(특징 선택) 또는 새 특징 공간을 형성(특징 추출)하는, p ≤ d의 차원 축소로서의 특징 선택을 설명한다.
• CC/PCC, MI/IG, χ² 통계, Markov Blanket, 일관성 기반 필터, 빠른 상관 기반 필터, 인터랙션 기반 접근 등 전처리 방법(관련성 대 중복성)을 상세히 다룬다.
• 순차적(SFS/SBS) 및 부유형(wrapper) 탐색과 함께 부분집합 탐색에 모델이 내장된 래퍼 방법을 개요하고, 조합 검색을 위한 메타휴리스틱(PSO, GA)을 포함한다.
• 특징 추출을 차원 축소로서 p < d로 설명하고, 매니폴드 가설을 다루며, 감독 대 비감독, 선형 대 비선형 접근법을 구분한다.
• 주요 추출 기법: PCA(이중 PCA 포함), 커널 PCA, MDS, Isomap, LLE를 요약하고 재구성, 샘플 외 처리, 비선형성에 대한 주석을附.

실험 결과

연구 질문

• RQ1 패턴 분석에서 특징 선택 및 특징 추출의 주요 범주 및 기준은 무엇인가?
• RQ2 주요 필터, 래퍼, 메타휴리스틱 방법은 목표와 사용에서 어떻게 차이가 나는가?
• RQ3 일반적인 선형 및 비선형 특징 추출 기술은 무엇이며, 샘플 외 데이터 및 비선형성은 어떻게 다루는가?
• RQ4 분류, 회귀 및 클러스터링에서 이러한 방법의 실용적 고려사항, 한계 및 일반적 응용은 무엇인가?
• RQ5 검토된 방법들이 관련성, 중복성, 일관성 및 계산 효율성 측면에서 개념적으로 어떻게 비교되는가?

주요 결과

• 논문은 특징 선택을 필터와 래퍼 접근법으로 분류하고 여러 구체적 방법(CC, MI, χ², MB, CB, FCBF, Interact, mRMR)을 도입한다.
• 특징 부분집합 탐색을 위한 순차적 및 메타휴리스틱 탐색(PSO, GA)을 포함한 래퍼 전략을 다룬다.
• 특징 추출의 경우 PCA(이중 PCA 포함), 커널 PCA, MDS, Isomap, LLE를 조사하고 선형/비선형, 감독/비감독 설정과 연결한다.
• 추출 방법을 매니폴드 가설과 연결하고, 특히 PCA 변형과 커널 방법에서 샘플 외 투영/재구성 고려사항을 명확히 한다.
• 논문은 또한 비교적 렌즈를 제공하고 패턴 분석 작업 전반에서의 실용적 뉘앙스와 적용 영역을 지적한다.
• 실무자를 이론적 기초, 방법론 선택 및 샘플 구현으로 안내하는 것을 목표로 한다.