[论文解读] Advances in the training, pruning and enforcement of shape constraints of Morphological Neural Networks using Tropical Algebra

Nikolaos Dimitriadis, Petros Maragos|arXiv (Cornell University)|Nov 15, 2020

Neural Networks and Applications被引用 9

一句话总结

该论文通过利用热带代数改进训练、剪枝和形状约束的施加，推动了形态神经网络（MNNs）的发展。它提出了一种基于DC规划的多类任务训练方法，展示了剪枝后的MNN在稀疏性和压缩性方面优于线性网络，同时通过Maslov去量化提出平滑算子近似，以增强单调性约束和训练收敛性。

ABSTRACT

In this paper we study an emerging class of neural networks based on the morphological operators of dilation and erosion. We explore these networks mathematically from a tropical geometry perspective as well as mathematical morphology. Our contributions are threefold. First, we examine the training of morphological networks via Difference-of-Convex programming methods and extend a binary morphological classifier to multiclass tasks. Second, we focus on the sparsity of dense morphological networks trained via gradient descent algorithms and compare their performance to their linear counterparts under heavy pruning, showing that the morphological networks cope far better and are characterized with superior compression capabilities. Our approach incorporates the effect of the training optimizer used and offers quantitative and qualitative explanations. Finally, we study how the architectural structure of a morphological network can affect shape constraints, focusing on monotonicity. Via Maslov Dequantization, we obtain a softened version of a known architecture and show how this approach can improve training convergence and performance.

研究动机与目标

• 通过一对一方法和DC规划，将二值形态分类扩展至多类问题。
• 研究在剪枝条件下密集形态网络的稀疏性和可压缩性，并与线性网络进行比较。
• 通过平滑算子近似实现形态网络中的单调性约束，提升训练稳定性和性能。
• 为整合数学形态学、热带几何与神经网络优化提供一个系统性框架。
• 通过差异凸规划（Difference-of-Convex programming）提供一种稳健的、非随机的训练替代方法，以替代基于梯度的方法。

提出的方法

• 将MNN训练建模为差异凸（DC）优化问题，实现无需随机优化的解析化与稳定化训练。
• 应用凸-凹规划（CCP）训练多类形态神经网络，将二值膨胀-腐蚀感知机推广至一般分类任务。
• 采用结构化剪枝评估参数效率，在大规模参数移除下比较形态网络与线性网络的性能。
• 利用Maslov去量化技术对硬性形态算子（最大值/最小值）进行软化，以连续梯度替代不连续梯度。
• 引入硬度参数β以控制最大值/最小值算子的平滑程度，实现可微分训练并提升收敛性。
• 采用自适应优化（Adam）和Glorot均匀初始化，在带有单调性约束的噪声回归任务上训练网络。

实验结果

研究问题

• RQ1 能否通过非随机的、基于DC规划的优化方法有效训练多类形态神经网络？
• RQ2 在大规模剪枝条件下，形态网络与线性网络在稀疏性和压缩效率方面有何差异？
• RQ3 最大值/最小值算子的平滑近似能否提升单调形态网络的训练收敛性和性能？
• RQ4 通过网络架构设计与平滑算子施加单调性，在多大程度上能提升泛化能力和鲁棒性？
• RQ5 优化器和初始化策略的选择在多大程度上影响具有形状约束的形态网络的性能与收敛性？

主要发现

• 当β=5时，平滑形态网络在所有噪声水平下均取得最低的RMS误差（σ=0.05时为0.00294），优于等张回归和Sill的网络。
• 平滑单调网络消除了对任意增益参数G的依赖，相比Sill的方法简化了训练过程。
• 在大规模剪枝下，形态网络相比线性网络保持了显著更高的准确率，展现出更优的压缩能力。
• 基于DC规划的训练方法实现了多类形态网络的稳健非随机优化，性能可与更复杂模型相媲美。
• Maslov去量化降低了梯度稀疏性，通过在所有超平面上实现连续可微更新，提升了收敛性。
• 软算子方法带来了更均衡的权重更新，防止某些主导超平面垄断学习过程，从而改善泛化性能。