[论文解读] An improved LogNNet classifier for IoT application

Hanif Heidari, Andrei Velichko|arXiv (Cornell University)|May 30, 2021

Neural Networks and Applications被引用 5

一句话总结

该论文提出了一种改进的LogNNet分类器，采用半线性Henon型混沌映射以提升MNIST-10数据集上的分类准确率，同时保持低内存占用。通过粒子群优化结合随机移民策略对混沌映射参数进行优化，并利用基于水箱的变换方法，该模型在与原始LogNNet相同的RAM消耗下实现了更高的准确率，证明了熵与分类性能之间存在直接关联。

ABSTRACT

In the age of neural networks and Internet of Things (IoT), the search for new neural network architectures capable of operating on devices with limited computing power and small memory size is becoming an urgent agenda. Designing suitable algorithms for IoT applications is an important task. The paper proposes a feed forward LogNNet neural network, which uses a semi-linear Henon type discrete chaotic map to classify MNIST-10 dataset. The model is composed of reservoir part and trainable classifier. The aim of the reservoir part is transforming the inputs to maximize the classification accuracy using a special matrix filing method and a time series generated by the chaotic map. The parameters of the chaotic map are optimized using particle swarm optimization with random immigrants. As a result, the proposed LogNNet/Henon classifier has higher accuracy and the same RAM usage, compared to the original version of LogNNet, and offers promising opportunities for implementation in IoT devices. In addition, a direct relation between the value of entropy and accuracy of the classification is demonstrated.

研究动机与目标

• 设计一种适用于内存和计算能力受限的物联网设备的神经网络架构。
• 在不增加RAM使用量的前提下，提升原始LogNNet模型的分类准确率。
• 探索混沌动力学在提升图像分类任务中水箱计算性能方面的作用。
• 建立混沌映射熵与分类准确率之间的定量关系。

提出的方法

• 所提出的模型采用前馈式LogNNet架构，其水箱由半线性Henon型离散混沌映射构成。
• 通过混沌映射生成的时间序列对输入数据进行变换，从而增强水箱层中的特征表示。
• 采用一种新颖的矩阵填充方法作用于水箱，以最大化分类性能。
• 利用携带随机移民的粒子群优化算法对混沌映射参数进行优化，以提升泛化能力。
• 将水箱输出送入可训练分类器以完成最终预测。
• 基于MNIST-10数据集，采用准确率和熵作为指标评估模型性能。

实验结果

研究问题

• RQ1 基于混沌水箱的神经网络是否能在保持低内存使用的同时，实现比原始LogNNet更高的分类准确率？
• RQ2 混沌映射的熵如何影响LogNNet模型的分类准确率？
• RQ3 携带随机移民的粒子群优化是否能有效调节混沌映射参数以提升性能？
• RQ4 水箱的矩阵填充策略对分类结果有何影响？
• RQ5 所提出的LogNNet变体是否适合在低功耗物联网设备上部署？

主要发现

• 改进后的LogNNet/Henon分类器在MNIST-10数据集上的分类准确率高于原始LogNNet。
• 该模型保持了与原始LogNNet相同的RAM使用量，因此适用于低资源物联网应用。
• 实验结果明确展示了混沌映射熵与分类准确率之间的正向直接相关关系。
• 携带随机移民的粒子群优化有效优化了混沌映射参数，从而提升了模型性能。
• 水箱的矩阵填充方法显著增强了特征表示与分类准确率。
• 该模型在MNIST-10基准上得到验证，证实其在边缘AI部署中的潜力。