[论文解读] Building a Chaotic Proved Neural Network

Jacques M. Bahi, Christophe Guyeux+1 more|arXiv (Cornell University)|Jan 23, 2011

Neural Networks and Applications参考文献 15被引用 4

一句话总结

本文建立了混沌迭代（依据Devaney混沌准则定义）与全局循环多层感知机（MLP）之间的形式化对应关系，证明了某些神经网络可从数学上被认定为混沌。通过确保迭代函数的图是强连通的，作者设计并训练出表现出Devaney混沌特性的MLP，这是首次通过严格数学验证证明具有混沌特性的人工神经网络。

ABSTRACT

Chaotic neural networks have received a great deal of attention these last years. In this paper we establish a precise correspondence between the so-called chaotic iterations and a particular class of artificial neural networks: global recurrent multi-layer perceptrons. We show formally that it is possible to make these iterations behave chaotically, as defined by Devaney, and thus we obtain the first neural networks proven chaotic. Several neural networks with different architectures are trained to exhibit a chaotical behavior.

研究动机与目标

• 为解决在安全应用中使用神经网络时，关于其混沌特性的声明缺乏数学证明的问题。
• 通过Devaney的拓扑混沌框架，正式定义并验证人工神经网络中的混沌行为。
• 在混沌迭代与全局循环多层感知机（MLP）之间建立精确的数学对应关系。
• 提出一种通过特定迭代函数训练MLP以表现出已证明混沌行为的方法。
• 通过在多种网络架构和函数上的实证训练结果验证该方法。

提出的方法

• 本文将混沌迭代定义为一种系统，其中每次迭代仅根据策略序列更新一个单元，状态转移由函数 f 控制。
• 将Devaney的混沌准则——拓扑传递性、规则性（周期点稠密）和敏感依赖性——应用于迭代函数 f。
• 混沌的关键条件是 f 的图必须是强连通的，该条件在此背景下既是必要条件也是充分条件。
• 通过训练网络学习函数 f，将混沌迭代映射到全局循环MLP，采用L-BFGS优化的反向传播算法，并设定均方误差（MSE）阈值为 10^-2。
• 使用具有特定结构的布尔函数 f（例如 f1(x) = (¬x1, x1, x2, ..., xN-1)）以确保强连通性，从而实现混沌。
• 实验验证包括训练具有一到两个隐藏层的MLP，调整神经元数量，并在25次随机初始化下测量训练轮数和成功率。

实验结果

研究问题

• RQ1 能否在Devaney定义下，数学证明一个神经网络表现出混沌行为？
• RQ2 迭代函数 f 的何种条件可确保混沌迭代具有拓扑传递性和规则性？
• RQ3 如何将混沌迭代正式映射到全局循环多层感知机架构？
• RQ4 训练MLP以学习混沌迭代函数后，其行为是否表现出混沌特性？
• RQ5 MLP架构的复杂性与训练混沌网络的难度之间存在何种关系？

主要发现

• 在单层架构中使用10个隐藏神经元训练 f0,2(x1,x2,x3) = (¬x1,¬x2,¬x3) 的MLP，成功率达到100%，平均训练轮数为73.44。
• 在单层架构中使用10个隐藏神经元训练 f1,1(x1,x2,x3) = (¬x1,x1,x2) 的MLP，成功率达到100%，平均训练轮数为59.84。
• 双隐藏层架构（分别含8个和4个神经元）平均所需轮数显著增加——f0,2为203.68轮，f1,1为135.54轮，但成功率较低（分别为76%和96%）。
• 基于 g1(x1,x2,x3) = (¬x1,x2,x3) 的网络未能表现出混沌行为，因其图非强连通，从而验证了混沌的理论条件。
• 混沌网络的训练过程总体上更具挑战性，平均所需轮数多于非混沌网络，表明混沌复杂性与训练难度之间存在关联。
• 本研究证实，迭代函数图的强连通性是Devaney混沌的必要且充分条件，为构建可验证的混沌神经网络提供了可检验的标准。