[논문 리뷰] Improving PSO Global Method for Feature Selection According to Iterations Global Search and Chaotic Theory

Shahin Pourbahrami|arXiv (Cornell University)|2018. 11. 21.

Metaheuristic Optimization Algorithms Research참고 문헌 56인용 수 5

한 줄 요약

이 논문은 특성 선택을 위한 개선된 입자군집최적화(PSO) 방법인 ISPSO-GLOBAL을 제안한다. 이 방법은 혼돈 이론 기반의 초기화와 반복 기반의 전역 탐색을 통합하여 탐색 능력과 수렴 성능을 향상시킨다. 혼돈 이론을 활용한 초기 인구 구성과 동적 특성 수 공식을 통해, 최신 기술 대비 다양한 실세계 데이터셋에서 높은 분류 정확도와 낮은 계산 복잡도를 달성한다.

ABSTRACT

Making a simple model by choosing a limited number of features with the purpose of reducing the computational complexity of the algorithms involved in classification is one of the main issues in machine learning and data mining. The aim of Feature Selection (FS) is to reduce the number of redundant and irrelevant features and improve the accuracy of classification in a data set. We propose an efficient ISPSO-GLOBAL (Improved Seeding Particle Swarm Optimization GLOBAL) method which investigates the specified iterations to produce prominent features and store them in storage list. The goal is to find informative features based on its iteration frequency with favorable fitness for the next generation and high exploration. Our method exploits of a new initialization strategy in PSO which improves space search and utilizes chaos theory to enhance the population initialization, then we offer a new formula to determine the features size used in proposed method. Our experiments with real-world data sets show that the performance of the ISPSO-GLOBAL is superior comparing with state-of-the-art methods in most of the data sets.

연구 동기 및 목표

• 최소한의 관련 특성 집합을 선택하여 기계 학습의 계산 복잡도를 감소시키기 위해.
• 향상된 초기화 전략을 통해 PSO의 특성 선택에서의 탐색 능력을 향상시키기 위해.
• 혼돈 이론을 PSO에 통합하여 초기 인구의 다양성을 높이고 조기 수렴을 방지하기 위해.
• 반복 빈도와 적합도를 기반으로 한 동적 특성 수 결정 공식을 개발하기 위해.
• 기존 방법들과 비교해 더 적은 특성으로 높은 분류 정확도를 달성하기 위해.

제안 방법

• PSO에서 인구 다양성과 전역 탐색 능력을 향상시키기 위해 혁신적인 혼돈 이니셜라이제이션 전략을 도입한다.
• 반복 기반 전역 탐색을 활용하여 적합도 점수가 높은 빈도로 선택된 특성을 식별하고 저장한다.
• 반복 빈도와 적합도를 기반으로 선택할 특성 수를 결정하는 새로운 공식을 제안한다.
• 반복 과정에서 최고 성능을 보인 특성을 유지하기 위해 저장 리스트를 사용하여 향후 세대를 안내한다.
• 혼돈 수열(예: 로지스틱 맵)과 PSO를 조합하여 다양한 초기 입자 위치를 생성한다.
• 각 반복에서 입자 위치와 속도를 업데이트하기 위해 적합도 평가와 적응형 학습 규칙을 적용한다.

실험 결과

연구 질문

• RQ1 혼돈 이니셜라이제이션은 특성 선택에서 PSO의 전역 탐색 성능을 향상시킬 수 있는가?
• RQ2 반복 과정에서 특성 빈도를 추적하는 것은 정보가 많은 특성의 선택을 어떻게 향상시키는가?
• RQ3 반복 빈도와 적합도를 기반으로 한 동적 특성 수 공식은 분류 정확도를 향상시킬 수 있는가?
• RQ4 제안된 ISPSO-GLOBAL 방법은 기존의 PSO 기반 및 비-PSO 특성 선택 기법보다 우수한가?
• RQ5 이 방법은 분류 정확도를 유지하거나 향상시키면서 계산 복잡도를 얼마나 감소시키는가?

주요 결과

• ISPSO-GLOBAL 방법은 대부분의 테스트된 실세계 데이터셋에서 최신 기술 대비 더 높은 분류 정확도를 달성했다.
• 혼돈 이니셜라이제이션의 통합은 인구 다양성을 크게 향상시키고 조기 수렴 위험을 줄였다.
• 반복 횟수 기반 특성 선택은 더 안정적이고 정보가 풍부한 특성 집합을 이끌었다.
• 동적 특성 수 공식은 모델 복잡도와 성능 사이의 균형을 더 잘 유지하는 데 기여했다.
• 이 방법은 여러 벤치마크 데이터셋에서 뛰어난 수렴 속도와 강건성을 보였다.
• 제안된 방법은 반복 과정에서 높은 빈도와 높은 적합도를 가진 특성에 집중함으로써 계산 오버헤드를 감소시켰다.