[논문 리뷰] Atom Search Optimization with Simulated Annealing -- a Hybrid Metaheuristic Approach for Feature Selection

Kushal Kanti Ghosh, Ritam Guha외 3명|arXiv (Cornell University)|2020. 05. 10.

Machine Learning in Materials Science참고 문헌 40인용 수 8

한 줄 요약

이 논문은 S형 및 V형 전이 함수를 사용하여 실수값 ASO를 이진 탐색 공간으로 매핑함으로써 특성 선택을 위한 하이브리드 이진 원자 탐색 최적화(SA 포함)(ASO-SA)를 제안한다. 이 방법은 UCI, 수기 숫자, 텍스트, 얼굴 정서 인식 데이터셋을 포함한 다양한 데이터 유형에서 25개 데이터셋에 걸쳐 분류 정확도와 특성 감소 측면에서 최근의 워퍼 기반 알고리즘을 능가하는 성능을 보이며 뛰어난 성능을 입증한다.

ABSTRACT

'Hybrid meta-heuristics' is one of the most interesting recent trends in the field of optimization and feature selection (FS). In this paper, we have proposed a binary variant of Atom Search Optimization (ASO) and its hybrid with Simulated Annealing called ASO-SA techniques for FS. In order to map the real values used by ASO to the binary domain of FS, we have used two different transfer functions: S-shaped and V-shaped. We have hybridized this technique with a local search technique called, SA We have applied the proposed feature selection methods on 25 datasets from 4 different categories: UCI, Handwritten digit recognition, Text, non-text separation, and Facial emotion recognition. We have used 3 different classifiers (K-Nearest Neighbor, Multi-Layer Perceptron and Random Forest) for evaluating the strength of the selected featured by the binary ASO, ASO-SA and compared the results with some recent wrapper-based algorithms. The experimental results confirm the superiority of the proposed method both in terms of classification accuracy and number of selected features.

연구 동기 및 목표

• 기계 학습에서 고차원 특성 공간의 과제를 해결하기 위해 효율적인 워퍼 기반 특성 선택 방법을 개발하는 것.
• 시뮬레이티드 어닐링(SA)을 통합하여 원자 탐색 최적화(ASO)의 탐색 및 이용 능력을 향상시키는 것.
• S형 및 V형 전이 함수를 사용하여 ASO의 연속적 탐색 공간을 특성 선택의 이진 도메인으로 매핑하는 것.
• 다양한 데이터셋과 분류기에서 제안된 방법을 평가하여 강건성과 일반화 능력을 확보하는 것.
• 기존의 워퍼 기반 특성 선택 알고리즘에 비해 하이브리드 ASO-SA 접근 방식의 열등성을 입증하는 것.

제안 방법

• 실수값 위치를 이진 특성 선택 결정으로 매핑하기 위해 S형 및 V형 전이 함수를 적용하여 이진 원자 탐색 최적화(ASO)의 변형을 개발한다.
• 국소 탐색을 향상시키고 국소 최적해에 갇히는 것을 방지하기 위해 시뮬레이티드 어닐링(SA)을 ASO 프레임워크에 통합한다.
• 하이브리드 ASO-SA 알고리즘은 적합도 평가 기반으로 원자 위치를 반복적으로 갱신하며, SA는 온도에 따라 의존적인 확률에 따라 새로운 해를 수용하도록 이끈다.
• 각 원자를 이진 벡터로 인코딩하여 특성 선택을 수행하며, 1은 선택된 특성을, 0은 제외된 특성을 나타낸다.
• 25개의 벤치마크 데이터셋에서 K-NN, MLP 및 랜덤 포레스트 분류기의 분류 정확도를 사용해 적합도를 평가한다.
• 탐색 중 탐색과 이용의 균형을 이루기 위해 SA에서 동적 온도 스케줄을 활용한다.

실험 결과

연구 질문

• RQ1 S형 및 V형 전이 함수를 적용한 이진 ASO는 고차원 공간에서 특성 선택을 효과적으로 수행할 수 있는가?
• RQ2 ASO에 시뮬레이티드 어닐링을 통합하면 특성 선택에서 수렴성 향상과 국소 최적해 회피에 기여하는가?
• RQ3 최근의 워퍼 기반 알고리즘과 비교했을 때 제안된 ASO-SA 방법은 분류 정확도와 특성 감소 측면에서 어떻게 성능을 내는가?
• RQ4 UCI, 수기 숫자, 텍스트, 얼굴 정서 인식 데이터셋을 포함한 다양한 데이터 유형에서 하이브리드 ASO-SA 방법은 강건한가?
• RQ5 이진 ASO-SA 프레임워크에서 S형 전이 함수와 V형 전이 함수 중 어느 것이 더 높은 성능을 낼 수 있는가?

주요 결과

• 제안된 ASO-SA 방법은 25개의 벤치마크 데이터셋에서 비교된 모든 워퍼 기반 알고리즘보다 높은 분류 정확도를 달성했다.
• 분류 성능을 유지하거나 향상시키면서 선택된 특성 수를 크게 감소시켰다.
• 분류 정확도와 수렴 속도 측면에서 V형 전이 함수가 S형 전이 함수를 일관되게 뛰어넘었다.
• 하이브리드 ASO-SA 접근 방식은 UCI, 수기 숫자 인식, 텍스트, 얼굴 정서 인식의 네 가지 데이터셋 유형 전반에서 강력한 일반화 능력을 보였다.
• 시뮬레이티드 어닐링의 통합은 국소 탐색 능력을 향상시켜 더 빠른 수렴과 유망한 해의 더 나은 이용을 이끌었다.
• 평균적으로 25개 데이터셋 중 18개에서 90% 이상의 분류 정확도를 달성했으며, 대부분의 경우 특성 감소 비율이 50%를 초과했다.