[论文解读] Insect cyborgs: Biological feature generators improve machine learning accuracy on limited data.

Charles B. Delahunt, J. Nathan Kutz|arXiv (Cornell University)|Aug 23, 2018

Neurobiology and Insect Physiology Research参考文献 20被引用 4

一句话总结

该论文提出昆虫神经机器人——通过摩尔特网络（MothNet）这一鳞翅目触角系统计算模型增强的机器学习模型——作为自动特征生成器，以提升小样本数据任务的性能。通过利用竞争性抑制和赫布可塑性等生物神经网络原理，MothNet生成的特征使标准机器学习分类器在向量化MNIST数据集上的准确率提升了6%至33%，优于主成分分析（PCA）、偏最小二乘法（PLS）以及预训练神经网络。

ABSTRACT

Machine learning (ML) classifiers always benefit from more informative input features. We seek to auto-generate stronger feature sets in order to address the difficulty that ML methods often experience given limited training data. A wide range of biological neural nets (BNNs) excel at fast learning, implying that they are adept at extracting informative features. We can thus look to BNNs for tools to improve ML performance in this low-data regime. The olfactory network learns new odors very rapidly, by means of three key elements: A competitive inhibition layer; a high-dimensional sparse plastic layer; and Hebbian updates of synaptic weights. In this work, we deployed MothNet, a computational model of the olfactory network, as an automatic feature generator: Attached as a front-end pre-processor, its Readout Neurons provided new features, derived from the original features, for use by standard ML classifiers. We found that these insect cyborgs, i.e. classifiers that are part-insect model and part-ML method, had significantly better performance than baseline ML methods alone on a vectorized MNIST dataset. The MothNet feature generator also substantially out-performed other feature generating methods such as PCA, PLS, and NNs, as well as pre-training to initialize NN weights. Cyborgs improved relative test set accuracy by an average of 6% to 33% depending on baseline ML accuracy, while relative reduction in test set error exceeded 50% for higher baseline accuracy ML models. These results indicate the potential value of BNN-inspired feature generators in the ML context.

研究动机与目标

• 解决训练数据有限时机器学习性能不佳的挑战。
• 探究已知具备快速学习能力的生物神经网络（BNNs）是否可为机器学习中的特征提取提供更优启发。
• 开发一种模仿触角系统高效提取信息特征机制的特征生成方法。
• 通过生物启发式预处理方法，提升标准机器学习分类器在低数据场景下的性能。

提出的方法

• 将MothNet（一种鳞翅目触角系统计算模型）部署为机器学习流程的前端预处理器。
• 利用MothNet的读出神经元，从原始输入数据中生成新型高维、稀疏且具备可塑性的特征。
• 在MothNet中应用竞争性抑制与赫布突触权重更新机制，以增强特征的区分能力与适应性。
• 将MothNet生成的特征输入标准机器学习分类器，用于后续分类任务。
• 在向量化MNIST数据集上训练并评估所得昆虫神经机器人模型，以与基线模型进行性能对比。
• 通过测试集准确率与误差率，将性能与PCA、PLS、神经网络及预训练方法进行基准对比。

实验结果

研究问题

• RQ1 基于昆虫触角系统的生物启发模型是否能提升在小样本训练数据下的机器学习性能？
• RQ2 MothNet生成的特征提取方法与主成分分析（PCA）和偏最小二乘法（PLS）等传统降维技术相比表现如何？
• RQ3 在低数据场景下，使用MothNet作为特征生成器是否优于神经网络预训练方法？
• RQ4 与标准机器学习模型相比，昆虫神经机器人在多大程度上降低了测试集误差？
• RQ5 MothNet所采用的生物机制——竞争性抑制、稀疏可塑性及赫布学习——对特征质量与分类准确率有何影响？

主要发现

• 将MothNet与标准机器学习分类器结合的昆虫神经机器人，相较于基线模型，测试集准确率相对提升了6%至33%。
• 当基线模型准确率较高时，经MothNet特征增强后，测试集误差相对减少超过50%。
• 在低数据场景下，MothNet生成的特征显著优于PCA、PLS及标准神经网络生成的特征。
• 利用MothNet的竞争性抑制与赫布可塑性进行特征生成，所获特征的判别性优于预训练方法。
• 当基线模型初始准确率较高时，性能增益最为显著，表明MothNet在优化已有强模型方面尤为有效。
• 将MothNet作为预处理器集成后，在多种评估指标上均表现出一致的性能提升，验证了其作为稳健特征生成器的有效性。