[论文解读] Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)

Dongrui Wu, Ye Yuan+1 more|arXiv (Cornell University)|Mar 26, 2019

Neural Networks and Applications参考文献 33被引用 7

一句话总结

本文提出MBGD-RDA，一种用于回归任务中Takagi-Sugeno-Kang（TSK）模糊系统的新型训练算法，结合了小批量梯度下降、正则化、AdaBound优化以及一种新型的DropRule技术。该方法实现了快速收敛和优异的泛化性能，尤其在缺乏高效替代方案的大规模数据集上表现突出。

ABSTRACT

Takagi-Sugeno-Kang (TSK) fuzzy systems are very useful machine learning models for regression problems. However, to our knowledge, there has not existed an efficient and effective training algorithm that ensures their generalization performance, and also enables them to deal with big data. Inspired by the connections between TSK fuzzy systems and neural networks, we extend three powerful neural network optimization techniques, i.e., mini-batch gradient descent, regularization, and AdaBound, to TSK fuzzy systems, and also propose three novel techniques (DropRule, DropMF, and DropMembership) specifically for training TSK fuzzy systems. Our final algorithm, mini-batch gradient descent with regularization, DropRule and AdaBound (MBGD-RDA), can achieve fast convergence in training TSK fuzzy systems, and also superior generalization performance in testing. It can be used for training TSK fuzzy systems on datasets of any size; however, it is particularly useful for big datasets, on which currently no other efficient training algorithms exist.

研究动机与目标

• 解决在大规模数据回归问题中TSK模糊系统缺乏高效且可泛化的训练算法的问题。
• 克服现有方法（如进化算法和ANFIS）在大规模数据集上训练缓慢或易过拟合的局限性。
• 利用TSK模糊系统与神经网络之间的联系，适配先进的深度学习优化技术。
• 开发专为TSK模糊系统量身定制的新型Dropout风格正则化技术（DropRule、DropMF、DropMembership）。
• 实现对任意规模数据集的有效训练，尤其关注在大规模数据上的可扩展性。

提出的方法

• 将小批量梯度下降（MBGD）适配至TSK模糊系统，通过处理小规模随机数据批次实现在大规模数据集上的高效训练。
• 集成L2正则化以防止过拟合并提升泛化性能。
• 应用AdaBound优化以动态调整学习率，确保快速收敛与稳定训练。
• 提出DropRule——一种新型Dropout技术，通过在训练过程中随机丢弃整个模糊规则来增强模型鲁棒性。
• 设计DropMF和DropMembership作为替代性Dropout策略，分别用于丢弃隶属度函数或隶属度值，以供对比分析。
• 将所有组件整合为统一算法MBGD-RDA，融合MBGD、正则化、AdaBound与DropRule，实现端到端训练。

实验结果

研究问题

• RQ1 小批量梯度下降能否被有效适配用于训练TSK模糊系统，特别是在大规模回归任务中？
• RQ2 正则化与AdaBound的集成如何提升TSK模糊系统训练的收敛速度与泛化性能？
• RQ3 不同Dropout策略（DropRule、DropMF、DropMembership）对TSK模糊系统性能有何影响？
• RQ4 MBGD-RDA在收敛速度与测试性能方面与Adam及其他优化基线相比表现如何？
• RQ5 MBGD-RDA能否有效处理传统方法因计算或内存限制而失效的大规模数据回归问题？

主要发现

• 在测试的10个基准数据集中，MBGD-RDA在大多数数据集上的收敛速度优于MBGD-RD-Adam（后者使用Adam而非AdaBound）。
• 在10个数据集上，MBGD-RDA的最小测试RMSE与MBGD-RD-Adam相比保持更小或相当，表明其泛化性能更优或具有竞争力。
• 在训练和测试RMSE方面，DropRule优于DropMF与DropMembership，表明在Dropout过程中引入更显著的结构变化可提升模型鲁棒性。
• MBGD-RDA显著缩小了训练误差与测试误差之间的差距，表明正则化效果良好且泛化能力得到提升。
• 该算法具备可扩展性，适用于任意规模的数据集，尤其在当前缺乏高效替代方案的大数据场景中优势明显。
• AdaBound与MBGD及正则化的结合实现了稳定且快速的收敛，验证了其在TSK模糊系统优化中的有效性。