[논문 리뷰] A Fuzzy-Rough based Binary Shuffled Frog Leaping Algorithm for Feature Selection

Javad Rahimipour Anaraki, Saeed Samet외 2명|arXiv (Cornell University)|2018. 07. 31.

Rough Sets and Fuzzy Logic참고 문헌 46인용 수 3

한 줄 요약

이 논문은 L-FRFS 프레임워크를 활용하여 최소 재구성 집합을 식별하기 위해 퍼지-거칠기 의존도(FRDD)와 융합된 새로운 이진 셔플드 프로그램 루프 알고리즘(B-SFLA)을 제안한다. 이 방법은 하위집단 기반의 다양성 유지 덕분에 단일 실행에서 다수의 최소 재구성 집합을 효율적으로 발견함으로써 분류 정확도와 특징 집합 품질에서 GA, PSO, GBFS를 크게 능가한다.

ABSTRACT

Feature selection and attribute reduction are crucial problems, and widely used techniques in the field of machine learning, data mining and pattern recognition to overcome the well-known phenomenon of the Curse of Dimensionality, by either selecting a subset of features or removing unrelated ones. This paper presents a new feature selection method that efficiently carries out attribute reduction, thereby selecting the most informative features of a dataset. It consists of two components: 1) a measure for feature subset evaluation, and 2) a search strategy. For the evaluation measure, we have employed the fuzzy-rough dependency degree (FRFDD) in the lower approximation-based fuzzy-rough feature selection (L-FRFS) due to its effectiveness in feature selection. As for the search strategy, a new version of a binary shuffled frog leaping algorithm is proposed (B-SFLA). The new feature selection method is obtained by hybridizing the B-SFLA with the FRDD. Non-parametric statistical tests are conducted to compare the proposed approach with several existing methods over twenty two datasets, including nine high dimensional and large ones, from the UCI repository. The experimental results demonstrate that the B-SFLA approach significantly outperforms other metaheuristic methods in terms of the number of selected features and the classification accuracy.

연구 동기 및 목표

• 기계 학습 및 데이터 마이닝에서 차원의 저주 문제를 해결하기 위해 특징 선택의 효율성과 정확도를 향상시키는 것.
• 특징 집합 탐색 중 국소 최적점에 갇히기 쉬운 탐욕적 및 메타휴리스틱 방법의 한계를 극복하는 것.
• 다양한 최적 해(최소 재구성 집합)를 동시에 탐색할 수 있도록 인구 집단의 다양성을 유지하는 검색 전략을 개발하는 것.
• 퍼지-거칠기 집합 이론을 새로운 이진 메타휴리스틱과 융합하여 강력하고 고성능의 특징 선택을 구현하는 것.
• 제안된 방법을 UCI 저장소의 다양한 고차원 데이터셋에서 기존 알고리즘과 비교 평가하는 것.

제안 방법

• 특징 집합의 평가 척도로 퍼지-거칠기 의존도(FRDD)를 계산하기 위해 하한 근사 기반의 퍼지-거칠기 특징 선택(L-FRFS) 프레임워크를 사용한다.
• 새로운 이진 버전의 셔플드 프로그램 루프 알고리즘(B-SFLA)을 제안하며, 개개의 개체는 특징 포함 또는 제거를 나타내는 이진 문자열로 표현된다.
• B-SFLA는 인구 집단을 하위집단(memeplexes)으로 나누어 병렬적인 국소 탐색을 가능하게 하며, 조기 수렴을 방지하기 위해 다양성을 향상시킨다.
• 각 개체의 위치는 개인 최적값과 그 멤프렉스 내 전역 최적값을 기반으로 업데이트되며, 해 공간을 탐색하기 위해 확률적 국소 탐색 메커니즘이 사용된다.
• 알고리즘은 FRDD를 최대화하고 선택된 특징의 수를 최소화함으로써 반복적으로 특징 집합을 개선한다.
• 최종 해 집합은 단일 실행에서 식별된 최소 크기이면서 가장 높은 FRDD를 가지는 다수의 최소 재구성 집합을 포함한다.

실험 결과

연구 질문

• RQ1 FRDD 기반 평가 척도를 갖춘 하이브리드 B-SFLA가 기존 메타휴리스틱 기법인 GA 및 PSO보다 특징 선택 정확도와 효율성에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 B-SFLA의 하위집단 구조는 GA 및 PSO가 일반적으로 단일 최소 재구성 집합을 반환하는 데 반해, 단일 실행에서 다수의 최소 재구성 집합을 발견할 수 있도록 하는가?
• RQ3 다양한 데이터셋에서 제안된 방법이 L-FRFS 및 GBFS와 비교해 분류 정확도와 특징 집합 크기 측면에서 어떻게 성능을 내는가?
• RQ4 고차원 및 대규모 데이터셋에서 B-SFLA는 성능을 유지하거나 향상시키면서 계산 시간을 얼마나 줄일 수 있는가?
• RQ5 다중 최적 해가 존재하는 다중 모달 특징 선택 문제에서 B-SFLA는 특히 효과적인가?

주요 결과

• 분류 정확도에 대한 프리드먼 검정에서 B-SFLA는 평균 순위 2.1364를 기록하여 GA(3.1818), PSO(3.4091), GBFS(3.5000), L-FRFS(2.7727)를 유의미하게 뛰어넘었다.
• 사후 분석을 통해 α=0.05 수준에서 B-SFLA의 성능이 PSO, GA, GBFS보다 통계적으로 유의미하게 뛰어나다는 것이 확인되었으며, p-값은 각각 0.007592, 0.02831, 0.004231이었다.
• 대부분의 데이터셋에서 B-SFLA가 가장 빠른 알고리즘이었으며, 멀티스레딩 C++ 구현체가 Weka의 자바 기반 GA 및 PSO를 능가했다.
• GA 및 PSO가 일반적으로 단일 최소 재구성 집합을 반환하는 데 반해, B-SFLA는 하위집단 구조 덕분에 단일 실행에서 항상 다수의 최소 재구성 집합을 반환했다.
• COIL-2000, CNAE-9, Madelon 등의 고차원 및 대규모 데이터셋에서도 뛰어난 성능을 보였으며, 적은 수의 특징으로도 높은 정확도를 달성했다.
• B-SFLA가 멤프렉스 기반의 검색을 통해 인구 집단의 다양성을 유지할 수 있다는 점은 다중 최적 해가 존재하는 다중 모달 특징 선택 문제에 매우 적합하다.