[论文解读] A Harmony Search Based Wrapper Feature Selection Method for Holistic Bangla word Recognition

Supratim Das, Pawan Kumar Singh+3 more|arXiv (Cornell University)|Jul 26, 2017

Text and Document Classification Technologies参考文献 13被引用 3

一句话总结

该论文提出了一种基于Harmony Search（HS）的包装式特征选择方法，用于降低整体孟加拉文手写词识别中的维数。通过从初始的65个椭圆特征中选择48个最优特征，该方法使用多层感知机分类器实现了90.29%的识别准确率——超越了以往结果，并在准确率和特征效率方面优于遗传算法（GA）、粒子群优化（PSO）以及主成分分析（PCA）。

ABSTRACT

A lot of search approaches have been explored for the selection of features in pattern classification domain in order to discover significant subset of the features which produces better accuracy. In this paper, we introduced a Harmony Search (HS) algorithm based feature selection method for feature dimensionality reduction in handwritten Bangla word recognition problem. This algorithm has been implemented to reduce the feature dimensionality of a technique described in one of our previous papers by S. Bhowmik et al.[1]. In the said paper, a set of 65 elliptical features were computed for handwritten Bangla word recognition purpose and a recognition accuracy of 81.37% was achieved using Multi Layer Perceptron (MLP) classifier. In the present work, a subset containing 48 features (approximately 75% of said feature vector) has been selected by HS based wrapper feature selection method which produces an accuracy rate of 90.29%. Reasonable outcomes also validates that the introduced algorithm utilizes optimal number of features while showing higher classification accuracies when compared to two standard evolutionary algorithms like Genetic Algorithm (GA), Particle Swarm Optimization (PSO) and statistical feature dimensionality reduction technique like Principal Component Analysis (PCA). This confirms the suitability of HS algorithm to the holistic handwritten word recognition problem.

研究动机与目标

• 解决整体孟加拉文手写词识别中高维特征空间带来的分类效率低下问题。
• 在保持或提升识别准确率的同时降低特征维数。
• 评估Harmony Search（HS）作为包装式特征选择方法在与成熟进化算法和统计技术比较下的有效性。
• 识别出能够最大化手写孟加拉文词分类性能的最小但最优特征子集。

提出的方法

• 采用Harmony Search（HS）算法作为包装式方法，从初始的65个椭圆特征集中搜索最优特征子集。
• HS算法迭代生成新的特征组合（和谐向量），利用多层感知机（MLP）分类器评估其性能，并根据分类准确率更新和谐记忆。
• 通过在验证集上使用MLP分类器的识别准确率进行适应度评估，引导搜索向更高性能的特征子集发展。
• 该算法维护一个候选解的和谐记忆，并利用音高调整和带宽参数有效探索和开发搜索空间。
• 该过程持续进行，直到达到预设的迭代次数或收敛条件，最终获得最佳性能的特征子集。
• 所选特征子集随后在测试集上进行验证，以测量最终的识别准确率。

实验结果

研究问题

• RQ1 Harmony Search算法能否在整体孟加拉文手写词识别中有效降低特征维数，同时保持或提升分类准确率？
• RQ2 与遗传算法（GA）、粒子群优化（PSO）以及主成分分析（PCA）相比，基于HS的包装式特征选择方法在识别准确率和特征降维方面表现如何？
• RQ3 在整体孟加拉文手写词识别任务中，实现高识别准确率所需的最优特征数量是多少？
• RQ4 基于HS的方法是否选择了比标准降维技术更紧凑且更具信息量的特征子集？

主要发现

• 所提出的基于HS的包装式特征选择方法仅使用48个特征即实现了90.29%的识别准确率，相较于原始65个特征集减少了75%的维数。
• 该方法显著优于基线方法（使用65个特征时准确率为81.37%），证明了智能特征子集选择的优势。
• 该方法在分类准确率方面优于遗传算法（GA）和粒子群优化（PSO），证实了其在此情境下的优越性。
• 该方法在识别准确率方面也优于主成分分析（PCA）这一统计降维技术。
• 结果验证了HS算法在整体手写孟加拉文词识别中进行特征选择的适用性，因其能够有效平衡探索与开发。
• 本研究证实，最优特征选择可在减少特征数量的同时提升准确率，从而在不牺牲性能的前提下增强计算效率。