[논문 리뷰] Selecting Efficient Features via a Hyper-Heuristic Approach

Mitra Montazeri, Mahdieh Soleymani Baghshah외 1명|arXiv (Cornell University)|2016. 01. 20.

Metaheuristic Optimization Algorithms Research참고 문헌 30인용 수 4

한 줄 요약

이 논문은 탐색과 이용의 균형을 이루기 위해 16개의 히وري스틱 국소 탐색 연산자를 동적으로 선택할 수 있도록 유전 알고리즘을 감독자로 사용하는 초히وري스틱 접근법을 제안한다. UCI 데이터셋에서 평가한 결과, 기존 기법들보다 정확도와 수렴 속도 면에서 뛰어난 성능을 보였다. 이는 과거 성능 기반으로 탐색 전략을 지능적으로 적응시키기 때문이다.

ABSTRACT

By Emerging huge databases and the need to efficient learning algorithms on these datasets, new problems have appeared and some methods have been proposed to solve these problems by selecting efficient features. Feature selection is a problem of finding efficient features among all features in which the final feature set can improve accuracy and reduce complexity. One way to solve this problem is to evaluate all possible feature subsets. However, evaluating all possible feature subsets is an exhaustive search and thus it has high computational complexity. Until now many heuristic algorithms have been studied for solving this problem. Hyper-heuristic is a new heuristic approach which can search the solution space effectively by applying local searches appropriately. Each local search is a neighborhood searching algorithm. Since each region of the solution space can have its own characteristics, it should be chosen an appropriate local search and apply it to current solution. This task is tackled to a supervisor. The supervisor chooses a local search based on the functional history of local searches. By doing this task, it can trade of between exploitation and exploration. Since the existing heuristic cannot trade of between exploration and exploitation appropriately, the solution space has not been searched appropriately in these methods and thus they have low convergence rate. For the first time, in this paper use a hyper-heuristic approach to find an efficient feature subset. In the proposed method, genetic algorithm is used as a supervisor and 16 heuristic algorithms are used as local searches. Empirical study of the proposed method on several commonly used data sets from UCI data sets indicates that it outperforms recent existing methods in the literature for feature selection.

연구 동기 및 목표

• 대규모 데이터셋에서 특징 부분집합 평가의 높은 계산 복잡도 문제를 해결하기 위해.
• 탐색과 이용의 균형을 잘 이루지 못하는 고정된 히وري스틱 기법의 한계를 극복하기 위해.
• 과거 성능 기반으로 국소 탐색 연산자의 동적 선택 메커니즘을 개발하기 위해.
• 적응형 탐색 전략 선택을 통해 수렴 속도와 분류 정확도를 향상시키기 위해.

제안 방법

• 16개의 서로 다른 국소 탐색 히وري스틱을 사용하는 초히وري스틱 프레임워크를 설계하였으며, 이 중에서 유전 알고리즘이 감독자 역할을 수행한다.
• 각 국소 탐색은 특징 부분집합 공간의 서로 다른 영역에 맞게 설계된 이웃 탐색 전략을 나타낸다.
• 감독자는 과거 성능 기록을 바탕으로 각 반복에서 가장 효과적인 국소 탐색을 선택한다.
• 후보 특징 부분집합의 적합도는 분류 정확도를 사용하여 평가되며, 이는 최적의 부분집합으로 향한 탐색을 이끈다.
• 다양한 탐색과 정교한 탐색을 균형 있게 유지하기 위해, 히وري스틱을 동적으로 전환함으로써 탐색과 이용의 균형을 유지한다.
• 최신 기법들과의 성능 비교를 위해 여러 UCI 기준 데이터셋에서 실험적 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 초히وري스틱 프레임워크를 통해 국소 탐색 전략을 동적으로 적응시킴으로써 특징 부분집합 선택 성능을 향상시킬 수 있는가?
• RQ2 유전 알고리즘 감독자의 통합이 특징 선택에서 탐색과 이용의 상호 균형을 어떻게 향상시키는가?
• RQ3 정확도와 수렴 속도 측면에서 제안된 방법이 기존의 히وري스틱 기반 특징 선택 기법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 히وري스틱의 동적 선택이 다양한 데이터셋에서 더 빠른 수렴을 이끌어내는가?
• RQ5 이 방법은 특징 수와 샘플 수가 서로 다른 다양한 유형의 UCI 기준 데이터셋에 일반화될 수 있는가?

주요 결과

• 제안된 초히وري스틱 접근법은 여러 UCI 데이터셋에서 기존의 특징 선택 기법들보다 높은 분류 정확도를 달성하였다.
• 다양한 탐색과 이용의 균형을 효과적으로 유지하기 위해 히وري스틱을 동적으로 선택함으로써, 빠른 수렴 속도를 보였다.
• 유전 알고리즘 감독자는 탐색 과정의 각 단계에서 가장 적합한 국소 탐색 연산자를 성공적으로 식별하고 적용하였다.
• 16개의 다양한 히وري스틱 연산자를 사용함으로써, 특징 부분집합 탐색 공간의 다양한 구조에 적응할 수 있었다.
• 실험 결과, 최근 최신 기법들보다 정확도와 수렴 속도 면에서 제안된 방법이 뛰어난 성능을 보임을 확인하였다.