[论文解读] Combinatorially Generated Piecewise Activation Functions

Justin Chen|arXiv (Cornell University)|May 17, 2016

Reinforcement Learning in Robotics参考文献 4被引用 4

一句话总结

本文提出了一种用于神经演化（neuroevolution）的组合生成分段激活函数，增强了神经增强拓扑演化（NEAT）的表达能力。通过将ArcTan和Sigmoid函数组合为分段形式，该方法在非马尔可夫双杆平衡任务上的成功率高于原始NEAT，尽管评估次数略有增加，且在泛化能力上存在轻微权衡。

ABSTRACT

In the neuroevolution literature, research has primarily focused on evolving the number of nodes, connections, and weights in artificial neural networks. Few attempts have been made to evolve activation functions. Research in evolving activation functions has mainly focused on evolving function parameters, and developing heterogeneous networks by selecting from a fixed pool of activation functions. This paper introduces a novel technique for evolving heterogeneous artificial neural networks through combinatorially generating piecewise activation functions to enhance expressive power. I demonstrate this technique on NeuroEvolution of Augmenting Topologies using ArcTan and Sigmoid, and show that it outperforms the original algorithm on non-Markovian double pole balancing. This technique expands the landscape of unconventional activation functions by demonstrating that they are competitive with canonical choices, and introduces a purview for further exploration of automatic model selection for artificial neural networks.

研究动机与目标

• 探索神经演化中的自动激活函数选择，超越固定或参数调优的函数。
• 通过组合式构造生成多样化、非标准的激活函数，增强神经演化算法的表达能力。
• 评估组合生成的分段激活函数是否能在具有挑战性的强化学习任务中超越标准选择。
• 证明此类函数在演化有效神经网络架构方面，可与Sigmoid和ArcTan等标准激活函数相媲美。

提出的方法

• 通过将两种基础函数——ArcTan和Sigmoid——组合为三段结构（静息态、左侧区域和激活态），组合生成分段激活函数。
• 将这些复合函数作为NEAT中的节点级激活函数应用，使通过演化产生异构网络拓扑成为可能。
• 在NEAT的标准演化机制（交叉、突变、生殖隔离和适应度评估）基础上，扩展基因组以编码分段函数的组合方式。
• 采用均匀随机噪声假设，验证生成函数在多次实验运行中的鲁棒性。
• 在非马尔可夫双杆平衡任务上评估性能，比较成功率、评估次数、泛化能力及网络规模。
• 分析结果时，既包含也排除失败实验，以评估演化激活函数的真实性能。

实验结果

研究问题

• RQ1 组合生成的分段激活函数能否提升神经演化算法在复杂强化学习任务中的性能？
• RQ2 与Sigmoid和ArcTan等标准选择相比，这些自生成的激活函数在成功率和泛化能力方面表现如何？
• RQ3 在演化神经网络时，不连续或非光滑的分段函数是否仍能与光滑的标准激活函数保持竞争力？
• RQ4 与标准NEAT相比，该方法在计算成本或网络复杂度方面增加了多少？
• RQ5 该方法能否推广至其他神经演化算法或架构配置？

主要发现

• 在排除失败实验后，组合生成的分段激活函数在非马尔可夫双杆平衡任务上的成功率达到98.37%，高于原始NEAT的96.70%。
• 尽管平均评估次数更高（36,453.87 vs. 28,924.58），所提方法产生的解在平均网络规模（6.26个节点）和泛化能力（266.87）方面与原始NEAT相当。
• 即使NEAT在14.4%的实验中失败，该方法在成功率方面仍优于NEAT，表明其具备更强的模型选择能力。
• 不连续的分段函数（SA2）的成功率略低（81.53%），但相比连续变体（SA1和SA3）仍表现出竞争力。
• 表现最佳的配置（SA3）使用未经修改的Sigmoid和ArcTan函数进行组合构造，优于参数调优的变体。
• 结果证实，非标准的、组合生成的激活函数不仅可行，而且在特定任务中可能比标准选择更有效。