[论文解读] Learning nonlinear level sets for dimensionality reduction in function approximation

Guannan Zhang, Jiaxin Zhang+1 more|arXiv (Cornell University)|Feb 27, 2019

Model Reduction and Neural Networks被引用 21

一句话总结

该论文提出了一种非线性水平集学习（NLL）方法，利用可逆神经网络（RevNets）学习高维函数逼近中少量数据下的非线性坐标变换。通过设计一种利用函数梯度的新型损失函数，NLL能够捕捉复杂且非线性的水平集几何结构，在低数据环境下显著提升逼近精度，优于线性方法如主动子空间（AS）和切片逆回归（SIR）。

ABSTRACT

We developed a Nonlinear Level-set Learning (NLL) method for dimensionality reduction in high-dimensional function approximation with small data. This work is motivated by a variety of design tasks in real-world engineering applications, where practitioners would replace their computationally intensive physical models (e.g., high-resolution fluid simulators) with fast-to-evaluate predictive machine learning models, so as to accelerate the engineering design processes. There are two major challenges in constructing such predictive models: (a) high-dimensional inputs (e.g., many independent design parameters) and (b) small training data, generated by running extremely time-consuming simulations. Thus, reducing the input dimension is critical to alleviate the over-fitting issue caused by data insufficiency. Existing methods, including sliced inverse regression and active subspace approaches, reduce the input dimension by learning a linear coordinate transformation; our main contribution is to extend the transformation approach to a nonlinear regime. Specifically, we exploit reversible networks (RevNets) to learn nonlinear level sets of a high-dimensional function and parameterize its level sets in low-dimensional spaces. A new loss function was designed to utilize samples of the target functions' gradient to encourage the transformed function to be sensitive to only a few transformed coordinates. The NLL approach is demonstrated by applying it to three 2D functions and two 20D functions for showing the improved approximation accuracy with the use of nonlinear transformation, as well as to an 8D composite material design problem for optimizing the buckling-resistance performance of composite shells of rocket inter-stages.

研究动机与目标

• 解决工程函数逼近中高维输入与有限训练数据的挑战，其中仿真计算成本高昂。
• 克服线性降维方法（如 AS、SIR）在复杂函数中无法捕捉非线性水平集几何结构的局限性。
• 开发一种非线性、可逆的输入变换，通过学习函数水平集的内在几何结构来减少活跃维度数量。
• 为高保真但计算缓慢的仿真提供准确且易于评估的代理模型，以支持实际工程设计问题。
• 在合成函数和一个真实的 8 维复合材料设计问题（用于火箭中间壳体）上展示该方法的有效性。

提出的方法

• 使用可逆残差网络（RevNets）学习双射的、非线性的坐标变换，将高维输入映射到低维潜在空间。
• 设计一种自定义损失函数，通过利用目标函数的梯度样本，促使变换后的函数在大多数变换坐标方向上保持不变。
• 在雅可比行列式上引入正则化项，以确保变换的可逆性和稳定性。
• 使用随机梯度下降训练 RevNet，损失函数平衡了基于梯度的敏感性增强与变换可逆性。
• 利用学习到的变换将输入投影到低维空间，从而在该空间中高效训练更简单的代理模型（如浅层神经网络）。
• 将该方法应用于合成函数和一个包含 8 个输入变量（铺层角度）和单一输出（屈曲因子）的真实复合材料设计问题。

实验结果

研究问题

• RQ1 非线性、可逆变换是否能比线性方法更有效地学习高维函数中复杂且非椭圆的水平集几何结构？
• RQ2 在仅提供少量训练样本的情况下，所提出的 NLL 方法在函数逼近中的表现如何？
• RQ3 NLL 方法在多大程度上能通过识别少数主导输入方向来降低函数的有效维度？
• RQ4 与主动子空间（AS）和切片逆回归（SIR）等线性降维技术相比，NLL 方法在逼近精度和输入变量敏感性方面表现如何？
• RQ5 NLL 方法是否能成功应用于具有昂贵仿真和有限数据的实际工程设计问题？

主要发现

• 在复合材料设计问题中，NLL 方法将最不活跃维度（第 4–8 维）的敏感度降低至 0.02 以下，而 SIR 为 0.15–0.16，AS 为 0.15–0.20，表明有效维度显著降低。
• 仅使用 500 个训练样本时，NLL 方法在验证集上的相对 RMSE 为 11.96%，优于 AS（47.27%）、SIR（54.99%）和 NN（67.57%）在相同条件下的表现。
• 在 8 维复合材料设计问题中，使用 10,000 个数据点时，NLL 方法的验证 RMSE 为 2.51%，优于 SIR（3.32%）和 AS（3.05%），且使用了更简单的代理模型。
• 当在损失函数中对更多维度施加惩罚时，NLL 方法表现出更快的收敛速度和更低的损失衰减率，表明其具备有效的敏感性控制能力。
• 该方法成功捕捉了测试函数（如 $ f(\bm{x}) = \text{sin}(\norm{\bm{x}}_2^2) $）的非线性水平集结构，而线性方法在此类函数上失效。
• 在小样本场景（500 个样本）下，NLL 方法相比 AS 和 SIR 实现了 1.5–2 倍的逼近精度提升，验证了其在数据稀缺环境下的有效性。