[论文解读] Data-Driven Fuzzy Modeling Using Deep Learning

Erick de la Rosa, Wen Yu|arXiv (Cornell University)|Feb 23, 2017

Neural Networks and Applications参考文献 27被引用 11

一句话总结

本文提出了一种数据驱动的模糊建模方法，结合深度学习、概率论和极限学习机（ELM），以提升非线性系统辨识的性能。通过改进受限玻尔兹曼机（RBM）以处理连续数据，并对RBM学习到的特征进行概率聚类，该方法提取了嵌入概率参数的模糊规则，在气体炉和Wiener-Hammerstein系统等基准数据集上，其准确性和鲁棒性均优于标准模糊模型。

ABSTRACT

Fuzzy modeling has many advantages over the non-fuzzy methods, such as robustness against uncertainties and less sensitivity to the varying dynamics of nonlinear systems. Data-driven fuzzy modeling needs to extract fuzzy rules from the input/output data, and train the fuzzy parameters. This paper takes advantages from deep learning, probability theory, fuzzy modeling, and extreme learning machines. We use the restricted Boltzmann machine (RBM) and probability theory to overcome some common problems in data based modeling methods. The RBM is modified such that it can be trained with continuous values. A probability based clustering method is proposed to partition the hidden features from the RBM, and extract fuzzy rules with probability measurement. An extreme learning machine and an optimization method are applied to train the consequent part of the fuzzy rules and the probability parameters. The proposed method is validated with two benchmark problems.

研究动机与目标

• 开发一种数据驱动的模糊建模框架，以克服传统基于聚类的模糊系统规则提取方法的局限性。
• 通过将概率论融入模糊规则的前提和结论部分，解决传统模糊建模中缺乏概率表示的问题。
• 利用深度学习特征和优化参数训练，提升非线性系统辨识的建模准确性和鲁棒性。
• 通过基于RBM的特征提取和概率聚类，实现可扩展、高精度且自适应的模糊建模，适用于大规模和不确定的数据集。
• 在真实世界基准问题上验证该方法，证明其在性能上优于标准模糊建模和基于ELM的方法。

提出的方法

• 对连续输入/输出数据训练一种改进的受限玻尔兹曼机（RBM），以提取深层、分层的特征，克服标准RBM对二值输入的限制。
• 采用基于概率的聚类方法（受中国餐馆过程启发），将RBM的隐藏特征划分为若干簇，作为模糊规则的前提。
• 利用基于伪逆的输出权重计算方法，通过极限学习机（ELM）训练每个模糊规则的结论部分，实现快速学习。
• 在模糊规则中引入概率参数，采用类似Z-number的度量方式建模，并使用序列二次规划（SQP）和MATLAB中的fmincon进行优化。
• 整个框架整合了无监督预训练（RBM）、概率结构识别（聚类）和有监督参数学习（ELM + 优化）。
• 通过结合在线RBM训练、递归聚类和参数更新，支持在线自适应。

实验结果

研究问题

• RQ1 改进的RBM能否有效从输入/输出数据中提取有意义的连续值特征，以支持模糊建模？
• RQ2 对RBM学习到的特征进行概率聚类，是否能比传统基于距离的聚类方法带来更准确、更鲁棒的模糊规则提取？
• RQ3 在模糊规则中集成概率参数，是否能提升非线性系统建模的准确性？
• RQ4 与标准模糊建模和基于ELM的方法相比，该方法在泛化能力和误差性能方面表现如何？
• RQ5 在大规模、不确定的数据集上，深度学习预训练的使用在多大程度上提升了数据驱动模糊模型的性能？

主要发现

• 在气体炉基准测试中，该方法将测试均方误差（MSE）从标准模糊规则的26.2×10⁻³降低至概率模糊规则的19.3×10⁻³，性能提升26.3%。
• 在Wiener-Hammerstein基准测试中，该方法使用概率规则和RBM特征，测试MSE达到19.3×10⁻³，优于标准模糊规则（26.4×10⁻³）和非RBM变体。
• 与直接对原始输入数据进行聚类相比，使用RBM特征在两个基准测试中平均将测试MSE降低了14.5%。
• 与标准模糊规则相比，将概率参数引入模糊规则后，MSE平均降低14.1%，证明了其增强的随机建模能力。
• 在更大规模数据集上，该方法表现出更好的可扩展性和准确性，例如在包含188,000个样本的Wiener-Hammerstein数据集上性能更优。
• 由于概率优化和RBM预训练的计算开销，计算时间有所增加，但显著的精度提升使得该代价在复杂非线性系统辨识任务中具有合理性。