[논문 리뷰] FSinR: an exhaustive package for feature selection

Francisco Aragón-Royón, Alfonso Jiménez-Vílchez외 2명|arXiv (Cornell University)|2020. 02. 24.

Machine Learning and Data Classification참고 문헌 30인용 수 10

한 줄 요약

FSinR는 16개의 널리 쓰이는 필터 방법과 caret 패키지에서 유래한 238개의 워퍼 방법, 그리고 13개의 검색 알고리즘을 통합한 포괄적이고 통합된 프레임워크를 제공하는 R 패키지입니다. 다양한 데이터 유형과 머신러닝 작업에서 체계적이고 융통성 있으며 사용자 친화적인 특성 선택을 가능하게 하며, 기존 CRAN 패키지에 비해 뛰어난 내구성, 확장성, 통합 능력을 제공합니다.

ABSTRACT

Feature Selection (FS) is a key task in Machine Learning. It consists in selecting a number of relevant variables for the model construction or data analysis. We present the R package, FSinR, which implements a variety of widely known filter and wrapper methods, as well as search algorithms. Thus, the package provides the possibility to perform the feature selection process, which consists in the combination of a guided search on the subsets of features with the filter or wrapper methods that return an evaluation measure of those subsets. In this article, we also present some examples on the usage of the package and a comparison with other packages available in R that contain methods for feature selection.

연구 동기 및 목표

• 다양한 특성 선택 방법을 통합하는 포괄적이고 확장 가능하며 사용자 친화적인 R 패키지의 부족을 보완하기 위해.
• 다양한 검색 전략을 지원하는 필터 및 워퍼 방법을 결합한 강력하고 확장 가능한 특성 선택 솔루션을 제공하기 위해.
• caret 패키지에 포함된 모든 모델을 워퍼 평가 측정 기준으로 통합하여 방법론적 다양성과 신뢰성을 향상시키기 위해.
• 일관되고 균일한 인터페이스와 내부 유형 검사 기능을 통해 사용성 향상 및 파rameter 처리의 신뢰성 향상을 위해.
• 수치형, 범주형 데이터 등 다양한 데이터 유형과 분류, 회귀 등 다양한 문제 유형을 지원함으로써 융통성과 적용 범위를 넓히기 위해.

제안 방법

• 16개의 표준 필터 방법(예: 상관 기반, 분산 임계값, 정보 양)을 사용해 독립적인 특성 평가를 수행합니다.
• caret 패키지에 포함된 238개의 분류 및 회귀 모델을 워퍼 평가 측정 기준으로 활용하여 모델 기반 특성 평가를 가능하게 합니다.
• 이러한 방법들을 13개의 검색 알고리즘(예: 최적 우선 탐색, 유전 알고리즘, 순차적 특성 제거)과 결합하여 특성 조합 공간을 효율적으로 탐색합니다.
• 모든 방법에 동일한 함수 인터페이스를 적용하여 사용자에게 일관되고 직관적인 사용 경험을 제공합니다.
• 내부 검증을 통해 입력 파rameter의 유형과 호환성을 점검하여 신뢰성 향상과 사용자 오류 감소를 도모합니다.
• 이 프레임워크는 분류 및 회귀 작업을 모두 지원하며, 수치형, 범주형 등 혼합된 데이터 유형을 원활하게 처리합니다.

실험 결과

연구 질문

• RQ1 다양한 검색 전략을 갖춘 광범위한 필터 및 워퍼 특성 선택 방법을 통합하는 통합된 R 패키지를 어떻게 설계할 수 있는가?
• RQ2 모든 caret 모델을 워퍼 측정 기준으로 통합함으로써 얻는 방법론적 커버리지 및 성능 내구성의 장점은 무엇인가?
• RQ3 기존의 특성 선택에 집중한 CRAN 패키지들과 비교할 때 FSinR의 功能, 사용성, 확장성은 어떠한가?
• RQ4 패키지의 일관된 인터페이스와 내부 검증 기능이 사용자 경험 향상과 오류 감소에 얼마나 기여하는가?
• RQ5 다양한 평가 기준과 체계적 탐색을 결합한 특성 선택 도구가 전용 또는 功能 제한이 있는 대안들보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• FSinR는 16개의 필터 방법과 caret 패키지의 238개의 워퍼 방법을 지원하여 대부분의 기존 R 패키지에 비해 훨씬 광범위한 방법론 커버리지를 제공합니다.
• 모든 필터 또는 워퍼 방법을 13개의 검색 알고리즘 중 어느 것과도 조합할 수 있어 매우 융통성 있고 체계적인 특성 선택 파이프라인을 제공합니다.
• FSelector와 달리 검색 통합이 부족하고 결과로 선택된 특성만 반환하는 반면, FSinR는 상세한 평가 지표와 과정의 투명성을 제공합니다.
• 일관된 인터페이스와 내부 유형 검사를 통해 사용성 향상과 오류 감소를 이끌어내어, Boruta나 spSFR처럼 단일 방법 솔루션만 제공하는 대안들보다 더 견고합니다.
• 확장성과 융통성 면에서 다른 패키지들을 능가하며, 수치형, 범주형 데이터 등 모든 데이터 유형과 분류, 회귀 문제를 일관되고 문서화된 기능으로 지원합니다.
• caret의 모델을 워퍼로 통합함으로써 높은 신뢰성과 최신 평가 기법에의 접근성을 확보하여, 머신러닝 분야의 특성 선택을 위한 종합적인 솔루션으로서 FSinR의 위상을 확립합니다.