[论文解读] Non-linear Functional Modeling using Neural Networks

Aniruddha Rajendra Rao, Matthew Reimherr|arXiv (Cornell University)|Apr 19, 2021

Neural Networks and Applications被引用 6

一句话总结

本文提出了两种新颖的神经网络框架——功能直接神经网络（FDNN）与功能基函数神经网络（FBNN），用于处理具有标量响应的非线性函数型回归。通过利用连续隐藏层和函数型数据结构，这些模型在复杂非线性场景下优于传统方法，在光谱分析、生长曲线和音素等真实数据集上表现出更优的准确性。

ABSTRACT

We introduce a new class of non-linear models for functional data based on neural networks. Deep learning has been very successful in non-linear modeling, but there has been little work done in the functional data setting. We propose two variations of our framework: a functional neural network with continuous hidden layers, called the Functional Direct Neural Network (FDNN), and a second version that utilizes basis expansions and continuous hidden layers, called the Functional Basis Neural Network (FBNN). Both are designed explicitly to exploit the structure inherent in functional data. To fit these models we derive a functional gradient based optimization algorithm. The effectiveness of the proposed methods in handling complex functional models is demonstrated by comprehensive simulation studies and real data examples.

研究动机与目标

• 解决功能数据分析中深度学习应用的不足，特别是针对非线性标量对函数回归的问题。
• 克服现有模型（如CAM、单/多重索引模型和二次模型）的局限性，这些模型假设结构受限，难以捕捉复杂交互作用与非线性关系。
• 开发一种灵活的、基于深度学习的框架，充分利用函数型数据的连续特性，而无需假设固定基展开或刚性参数形式。
• 实现对具有复杂时间依赖性和与标量响应非线性关系的功能型预测变量的有效建模。
• 为研究人员提供一种实用且系统化的方法，将深度学习应用于功能型数据，尤其适用于采样不规则或密集采样的场景。

提出的方法

• 提出功能直接神经网络（FDNN），利用连续隐藏层中的连续神经元，直接建模功能型预测变量，无需基展开。
• 引入功能基函数神经网络（FBNN），将基展开（如B样条）与连续隐藏层结合，提升灵活性并处理采样不规则的数据。
• 设计一种基于函数梯度的优化算法以训练模型，充分考虑功能型数据的无穷维特性。
• 在连续隐藏层中使用激活函数，以建模功能型预测变量与标量响应之间的非线性关系。
• 引入正则化与超参数调优策略，防止过拟合，尤其是在高维功能型空间中。
• 将模型应用于密集采样与不规则采样的功能型数据，其中FBNN的性能依赖于基函数选择与插补质量。

Figure 1: The architecture of a FNN with two functional neurons in the first layer and two numerical neurons in the second layer.

实验结果

研究问题

• RQ1 深度神经网络能否被有效适配以建模具有标量响应的功能型数据中的非线性关系？
• RQ2 在捕捉复杂非线性模式与交互作用方面，FDNN与FBNN相较于传统功能型回归模型（如CAM、单索引模型、二次模型）表现如何？
• RQ3 在何种场景下FDNN优于FBNN，反之亦然，特别是针对数据密度与采样不规则性？
• RQ4 这些模型在具有复杂未知底层结构的真实功能型数据上，其泛化能力达到何种程度？
• RQ5 功能型深度学习模型能否在实践中系统性应用，且仅需极少调参即可在多种数据类型上保持强性能？

主要发现

• 在光谱脂肪含量预测任务中，FDNN与FBNN显著优于传统模型（如FLM、CAM与标准神经网络），测试均方根误差（RMSE）分别达到0.822与1.197。
• 在伯克利生长曲线数据上，FDNN与FBNN的分类误差均为0.100，优于FLM（0.150）与CAM（0.150），表明在性别分类任务中表现强劲。
• 在音素分类任务中，FDNN与FBNN的分类误差分别为0.156与0.160，低于FLM（0.187）与CAM（0.231），表明其泛化能力更优。
• 在传统模型因结构假设而失效的复杂非线性场景中，这些模型表现出色，即使采用浅层架构也具备鲁棒性。
• FDNN在密集且采样规则的数据上表现最佳，得益于其直接建模方式与较低的调参需求；而FBNN在不规则数据上更具灵活性，但对基函数选择与插补质量更为敏感。
• 基于函数梯度的优化算法成功实现了在功能型数据上的模型训练，确保了在多样化数据集上的收敛性与稳定性能。

Figure 2: General architecture for our proposed approach with multiple continuous hidden layers.