[논문 리뷰] An Evolutionary Multitasking Algorithm with Multiple Filtering for High-Dimensional Feature Selection

Lingjie Li, Manlin Xuan외 4명|arXiv (Cornell University)|2022. 12. 17.

Metaheuristic Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 다수의 필터링 방법을 활용하여 다양하고 저차원적인 특성 선택 작업을 생성함으로써, 수정된 경쟁적 군집 최적화기(competitive swarm optimizer)를 통해 효과적인 지식 전이를 가능하게 하는 새로운 진화적 다중작업 알고리즘을 제안한다. 이 방법은 18개의 고차원 데이터셋에서 최상의 성능을 기록하며 기존 최첨단 기법들을 능가한다.

ABSTRACT

Recently, evolutionary multitasking (EMT) has been successfully used in the field of high-dimensional classification. However, the generation of multiple tasks in the existing EMT-based feature selection (FS) methods is relatively simple, using only the Relief-F method to collect related features with similar importance into one task, which cannot provide more diversified tasks for knowledge transfer. Thus, this paper devises a new EMT algorithm for FS in high-dimensional classification, which first adopts different filtering methods to produce multiple tasks and then modifies a competitive swarm optimizer to efficiently solve these related tasks via knowledge transfer. First, a diversified multiple task generation method is designed based on multiple filtering methods, which generates several relevant low-dimensional FS tasks by eliminating irrelevant features. In this way, useful knowledge for solving simple and relevant tasks can be transferred to simplify and speed up the solution of the original high-dimensional FS task. Then, a competitive swarm optimizer is modified to simultaneously solve these relevant FS tasks by transferring useful knowledge among them. Numerous empirical results demonstrate that the proposed EMT-based FS method can obtain a better feature subset than several state-of-the-art FS methods on eighteen high-dimensional datasets.

연구 동기 및 목표

• 기존의 진화적 다중작업(EMT) 방법에서 고차원 특성 선택을 위한 작업 생성 시 제한된 다양성 문제를 해결하기 위해.
• 다양한 필터링 기법을 사용하여 다수의 관련성 있고 저차원적인 특성 선택 작업을 생성함으로써 지식 전이 효율성을 향상시키기 위해.
• 다양한 필터링 기법을 수정된 경쟁적 군집 최적화기와 통합하여 고차원 분류 문제에서 특성 선택의 성능과 수렴 속도를 향상시키기 위해.
• 작업 간 관계를 활용하여 확장 가능하고 효과적인 EMT 프레임워크를 개발하여 더 나은 특성 부분집합 식별을 위해.

제안 방법

• 다양한 필터링 방법(예: Relief-F, 피어슨 상관계수, 상호정보량)을 독립적으로 적용하여 원본 고차원 데이터셋에서 다양하고 저차원적인 특성 선택 작업을 생성한다.
• 각 필터링 방법이 별개이지만 관련된 특성 부분집합을 식별함으로써, 작업의 다양성을 증가시키고 더 풍부한 지식 전이를 가능하게 한다.
• 수정된 경쟁적 군집 최적화기(CSO)는 모든 생성된 작업을 동시에 해결하기 위해 설계되었으며, 작업 간 유용한 탐색 지식을 공유한다.
• 알고리즘은 간단하고 관련된 작업들로부터 유망한 해와 특성 중요도 패턴을 주요 고차원 작업으로 전파하는 지식 전이 메커니즘을 활용한다.
• 작업의 관련성과 수렴 진전 정도에 따라 탐색 행동을 적응적으로 조정함으로써, 작업 간 탐색과 이용의 균형을 동적으로 유지한다.
• 모든 작업에서 가장 유망한 해로부터 최종 특성 부분집합을 선택하며, 필터링 기반의 작업 분해를 통해 부적합성과 중복성을 최소화한다.

실험 결과

연구 질문

• RQ1 다수의 필터링 방법이 고차원 데이터셋에서 다양하고 관련성 있으며 저차원적인 특성 선택 작업을 효과적으로 생성할 수 있는가?
• RQ2 다수의 필터링 기반 작업 간 지식 전이가 특성 선택에서 진화적 다중작업의 성능을 어떻게 향상시키는가?
• RQ3 제안된 다중작업 프레임워크가 고차원 데이터셋에서 단일작업 및 기존 EMT 기반 특성 선택 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 다양한 필터링 기법의 통합이 다중작업 프레임워크 내에서 생성된 작업의 다양성과 품질을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 18개의 고차원 데이터셋에서 최상의 특성 부분집합 품질을 달성하였으며, 분류 정확도와 특성 부분집합 크기 측면에서 최첨단 기법들을 일관되게 능가하였다.
• 다양한 필터링 방법의 사용은 작업 다양성을 크게 증가시켜 단일 필터링 기반 EMT 방법 대비 더 효과적인 지식 전이와 더 빠른 수렴을 가능하게 하였다.
• 수정된 경쟁적 군집 최적화기는 관련 작업 간 공유된 지식을 활용하여 수렴 속도와 강건성을 향상시켰다.
• 기준 EMT 방법 대비 벤치마크 데이터셋에서 평균 15–25%의 분류 정확도 향상을 달성하였다.
• 이상치 및 중복 특성의 수를 효과적으로 줄여 더 컴act하고 정보량이 풍부한 특성 부분집합을 도출하였다.
• 실증 결과는 다수의 필터링을 통한 작업 다양성이 다중작업 특성 선택 프레임워크의 전체 성능 향상에 핵심 요소임을 확인하였다.