[论文解读] Decoupling multivariate functions using a nonparametric filtered tensor decomposition

Jan Decuyper, Koen Tiels+3 more|arXiv (Cornell University)|May 23, 2022

Tensor decomposition and applications参考文献 32被引用 5

一句话总结

本文提出一种非参数化滤波张量分解（FTD）方法，利用一阶导数信息将多变量非线性函数解耦为单变量分支。通过将FTD应用于雅可比张量，该方法实现了复杂非线线性关系的高效、可解释且参数减少的表示——在非线性系统辨识和机器学习中得到验证，模型参数量减少高达50%，并通过可视化单变量函数提升了可解释性。

ABSTRACT

Multivariate functions emerge naturally in a wide variety of data-driven models. Popular choices are expressions in the form of basis expansions or neural networks. While highly effective, the resulting functions tend to be hard to interpret, in part because of the large number of required parameters. Decoupling techniques aim at providing an alternative representation of the nonlinearity. The so-called decoupled form is often a more efficient parameterisation of the relationship while being highly structured, favouring interpretability. In this work two new algorithms, based on filtered tensor decompositions of first order derivative information are introduced. The method returns nonparametric estimates of smooth decoupled functions. Direct applications are found in, i.a. the fields of nonlinear system identification and machine learning.

研究动机与目标

• 解决数据驱动的多变量非线性模型（如神经网络和基函数展开）中存在的可解释性差和参数量过高的问题。
• 开发一种后处理技术，利用一阶导数信息将耦合的非线性函数转换为解耦的、结构化的形式。
• 将现有解耦方法扩展至单输出系统，此前这些系统不在张量基方法的适用范围内。
• 实现在不预先假设固定函数形式的前提下，对单变量非线性分支进行非参数估计。
• 提供一种模型压缩策略，在保持性能的同时通过可视化非线性关系增强模型可解释性。

提出的方法

• 该方法利用在多个输入点处计算的一阶导数信息（雅可比矩阵）构建一个三阶张量，称为雅可比张量。
• 对这一张量应用滤波张量分解（FTD），以提取揭示底层解耦结构的低秩近似。
• FTD算法通过利用雅可比矩阵的三线性结构，实现其同时对角化，从而识别出变换矩阵V和单变量函数分支。
• 解耦形式表示为 f(p) = W g(V^T p)，其中g代表通过平滑技术估计的非参数单变量函数。
• 该方法为非参数化：不假设分支属于特定参数族；相反，它们直接从数据中使用核平滑或类似技术估计。
• 对解耦模型应用基于输入-输出数据的后优化，以减少初始耦合函数带来的偏差。

实验结果

研究问题

• RQ1 对一阶导数信息进行滤波张量分解，能否有效将多变量非线性函数解耦为单变量分量？
• RQ2 所提出的方法能否在保持或提升预测性能的同时实现显著的模型压缩？
• RQ3 解耦表示是否通过可视化各个非线性分支增强了可解释性？
• RQ4 该方法能否扩展至单输出系统，从而突破以往张量基解耦技术对单输出系统的不支持？
• RQ5 后优化在多大程度上提升了解耦模型的准确性？

主要发现

• 所提出的基于FTD的解耦方法在非线性NARX模型中将模型参数量减少了50%（从55个减少到30个），同时保持了相似的测试集性能（误差1.78%）。
• 当r = 3时，解耦模型揭示了两个分支具有主导的三次关系，第三个分支为线性形式，与已知物理系统中同时存在线性和三次刚度的特性一致。
• 该方法成功实现了单输出NARX模型的解耦，将张量基解耦的应用范围从多输出情形扩展至单输出情形。
• 对解耦模型的后优化降低了偏差并改善了泛化能力，证明了解耦形式作为非线性优化初始值的价值。
• 解耦表示使得非线性函数的可视化更加清晰，为理解底层系统动力学提供了物理解释。
• 在模型简洁性与可解释性方面，该方法优于文献[12]中的竞争方法，且测试集性能相当或更优。