[论文解读] FCM-RDpA: TSK Fuzzy Regression Model Construction Using Fuzzy C-Means Clustering, Regularization, DropRule, and Powerball AdaBelief

Zhenhua Shi, Dongrui Wu+4 more|arXiv (Cornell University)|Nov 30, 2020

Fuzzy Logic and Control Systems参考文献 30被引用 5

一句话总结

该论文提出了一种新型的TSK模糊回归模型FCM-RDpA，通过用模糊c-均值聚类替代基于网格的规则初始化，并以Powerball AdaBelief替代AdaBound，实现自适应梯度与学习率调整，从而提升参数优化性能。该方法在高维回归数据集上表现出更优的泛化能力，而FCM-RDpAx作为扩展变体，通过在前提与结论部分增强特征，进一步提升了性能。

ABSTRACT

To effectively optimize Takagi-Sugeno-Kang (TSK) fuzzy systems for regression problems, a mini-batch gradient descent with regularization, DropRule, and AdaBound (MBGD-RDA) algorithm was recently proposed. This paper further proposes FCM-RDpA, which improves MBGD-RDA by replacing the grid partition approach in rule initialization by fuzzy c-means clustering, and AdaBound by Powerball AdaBelief, which integrates recently proposed Powerball gradient and AdaBelief to further expedite and stabilize parameter optimization. Extensive experiments on 22 regression datasets with various sizes and dimensionalities validated the superiority of FCM-RDpA over MBGD-RDA, especially when the feature dimensionality is higher. We also propose an additional approach, FCM-RDpAx, that further improves FCM-RDpA by using augmented features in both the antecedents and consequents of the rules.

研究动机与目标

• 为解决现有TSK模糊回归模型在处理高维回归问题时的局限性。
• 提升TSK模糊系统中参数优化的稳定性与收敛速度。
• 通过用模糊c-均值聚类替代基于网格划分的初始化方式，为独立隶属函数提供更优初始化，从而增强模型泛化性能。
• 将Powerball AdaBelief集成至优化流程中，以自适应方式调整梯度与学习率。
• 提出扩展变体FCM-RDpAx，通过在前提与结论部分引入可学习特征投影，提升模型容量。

提出的方法

• FCM-RDpA将MBGD-RDA中基于网格划分的初始化替换为模糊c-均值聚类，用于初始化每个规则的独立隶属函数。
• 采用小批量梯度下降配合L2正则化，防止训练过程中的过拟合。
• 引入DropRule机制，在训练过程中随机丢弃输入特征，以提升模型泛化能力。
• 用Powerball AdaBelief替代AdaBound，该方法结合Powerball梯度与AdaBelief，动态自适应调整梯度与学习率。
• 优化过程同时使用自适应动量与方差估计，联合更新前提与结论参数。
• FCM-RDpAx通过在规则的前提与结论部分同时连接原始特征与可学习线性投影，对FCM-RDpA进行扩展。

实验结果

研究问题

• RQ1 与基于网格划分相比，模糊c-均值聚类是否能更好地初始化TSK模糊系统中的独立隶属函数？
• RQ2 在收敛速度与泛化性能方面，Powerball AdaBelief是否优于AdaBound用于优化TSK模糊回归模型？
• RQ3 DropRule与正则化的结合如何影响TSK模糊回归模型的鲁棒性与泛化能力？
• RQ4 通过可学习线性投影进行特征增强，是否能进一步提升高维场景下模型的容量与性能？
• RQ5 FCM-RDpA在多种回归数据集上与岭回归及SOTA方法（如MBGD-RDA）相比表现如何？

主要发现

• FCM-RDpA在22个回归数据集上的平均归一化测试RMSE表现最佳，优于岭回归与MBGD-RDA。
• Powerball AdaBelief的引入显著提升了优化稳定性与收敛速度，尤其在高维问题中表现突出。
• FCM-RDpAx通过在前提与结论中均使用增强特征，实现了最低的平均测试RMSE，尽管计算成本略高。
• Powerball梯度在所有基线优化器（AdaBound、SGDM、Adam、AdaBelief）上均持续提升性能，证实其有效性。
• 该方法在高维场景中优势明显，尤其在共享隶属函数导致规则数量指数级增长时更具优势。
• DropRule与正则化共同提升了模型泛化能力，表现为更低的测试RMSE与更少的过拟合现象。