[논문 리뷰] A Harmony Search Based Wrapper Feature Selection Method for Holistic Bangla word Recognition

Supratim Das, Pawan Kumar Singh외 3명|arXiv (Cornell University)|2017. 07. 26.

Text and Document Classification Technologies참고 문헌 13인용 수 3

한 줄 요약

이 논문은 통합 방식의 벵골 수필 인식에서 차원 감소를 위해 히모니어리 서치(HS) 기반 웨퍼(feature selection) 방법을 제안한다. 초기 65개의 타원형 특징에서 48개의 최적 특징을 선택함으로써, 다층 퍼셉트론 분류기(Multi Layer Perceptron classifier)를 사용해 90.29%의 인식 정확도를 달성하였으며, 이는 이전 결과를 능가하고 GA, PSO, PCA보다 정확도와 특징 효율성 측면에서 뛰어나다.

ABSTRACT

A lot of search approaches have been explored for the selection of features in pattern classification domain in order to discover significant subset of the features which produces better accuracy. In this paper, we introduced a Harmony Search (HS) algorithm based feature selection method for feature dimensionality reduction in handwritten Bangla word recognition problem. This algorithm has been implemented to reduce the feature dimensionality of a technique described in one of our previous papers by S. Bhowmik et al.[1]. In the said paper, a set of 65 elliptical features were computed for handwritten Bangla word recognition purpose and a recognition accuracy of 81.37% was achieved using Multi Layer Perceptron (MLP) classifier. In the present work, a subset containing 48 features (approximately 75% of said feature vector) has been selected by HS based wrapper feature selection method which produces an accuracy rate of 90.29%. Reasonable outcomes also validates that the introduced algorithm utilizes optimal number of features while showing higher classification accuracies when compared to two standard evolutionary algorithms like Genetic Algorithm (GA), Particle Swarm Optimization (PSO) and statistical feature dimensionality reduction technique like Principal Component Analysis (PCA). This confirms the suitability of HS algorithm to the holistic handwritten word recognition problem.

연구 동기 및 목표

• 분류 효율성에 악영향을 미치는 통합 벵골 수필 인식에서 고차원 특징 공간 문제를 해결하기 위해.
• 인식 정확도를 유지하거나 향상시키면서 특징 차원을 감소시키기 위해.
• 기존의 진화 알고리즘과 통계 기법과 비교하여 히모니어리 서치(HS)가 웨퍼 특징 선택 방법으로서의 효과성을 평가하기 위해.
• 수작업된 벵골 수필 인식 작업에서 분류 성능을 최대화하는 최소한이면서 최적의 특징 부분집합을 식별하기 위해.

제안 방법

• 초기 65개의 타원형 특징에서 최적의 특징 부분집합을 탐색하기 위해 히모니어리 서치(HS) 알고리즘을 웨퍼 방법으로 활용한다.
• HS 알고리즘은 반복적으로 새로운 특징 조합(히모니어리 벡터)을 생성하고, 이를 다층 퍼셉트론(MLP) 분류기를 사용해 평가하며, 분류 정확도에 따라 히모니어리 메모리(Harmony Memory)를 업데이트한다.
• 적합도 평가에서는 검증 세트에서 MLP 분류기의 인식 정확도를 사용하여, 더 높은 성능을 보이는 특징 부분집합 쪽으로 탐색을 이끈다.
• 알고리즘은 후보 해를 담은 히모니어리 메모리를 유지하며, 피치 조정과 대역폭 파라미터를 활용해 탐색 공간을 효과적으로 탐색하고 이용한다.
• 사전 정의된 반복 횟수 또는 수렴 기준에 도달할 때까지 과정을 계속하여 최고 성능을 보이는 특징 부분집합을 도출한다.
• 선택된 특징 부분집합은 테스트 세트에서 검증되어 최종 인식 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 히모니어리 서치 알고리즘이 통합 벵골 수필 인식에서 특징 차원을 감소시키면서도 분류 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 유전 알고리즘(GA), 입자 군집 최적화(PSO), 주성분 분석(PCA)과 비교할 때, HS 기반 웨퍼 특징 선택 방법은 인식 정확도와 특징 감소 측면에서 어떻게 다른가?
• RQ3 통합 벵골 수필 인식 작업에서 높은 인식 정확도를 달성하기 위해 필요한 최적의 특징 수는 얼마인가?
• RQ4 HS 기반 방법은 기존의 차원 감소 기법보다 더 컴act하고 정보가 풍부한 특징 부분집합을 선택하는가?

주요 결과

• 제안된 HS 기반 웨퍼 특징 선택 방법은 원래의 65개 특징 집합에서 75% 감소한 48개의 특징만을 사용하여 90.29%의 인식 정확도를 달성하였다.
• 기본 기반 방법(65개 특징으로 81.37% 정확도)에 비해 유의미하게 뛰어난 성능을 보이며, 지능적인 특징 부분집합 선택의 이점을 입증하였다.
• 유전 알고리즘(GA)과 입자 군집 최적화(PSO)보다 분류 정확도에서 뛰어나, 이 맥락에서의 우수성을 확인하였다.
• 통계적 차원 감소 기법인 주성분 분석(PCA)보다도 인식 정확도에서 뛰어나, 성능에서의 승리를 확인하였다.
• 결과적으로, HS 알고리즘이 탐색과 이용의 균형을 잘 이루기 때문에, 통합 수작업 벵골 수필 인식의 특징 선택에 적합하다는 것이 검증되었다.
• 최적의 특징 선택이 더 적은 특징 수로도 높은 정확도를 달성함으로써, 성능을 희생시키지 않고도 계산 효율성을 향상시킬 수 있음을 확인하였다.