[论文解读] Deep Learning for Functional Data Analysis with Adaptive Basis Layers

Junwen Yao, Jonas Mueller+1 more|arXiv (Cornell University)|Jun 19, 2021

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文提出自适应功能神经网络（AdaFNN），一种深度学习框架，用通过微神经网络实现的可学习、自适应基函数替代固定的基函数。通过端到端学习针对预测任务定制的基函数，AdaFNN 在低维化和泛化能力方面均表现出色，显著提升了函数型数据分类与回归任务的性能。

ABSTRACT

Despite their widespread success, the application of deep neural networks to functional data remains scarce today. The infinite dimensionality of functional data means standard learning algorithms can be applied only after appropriate dimension reduction, typically achieved via basis expansions. Currently, these bases are chosen a priori without the information for the task at hand and thus may not be effective for the designated task. We instead propose to adaptively learn these bases in an end-to-end fashion. We introduce neural networks that employ a new Basis Layer whose hidden units are each basis functions themselves implemented as a micro neural network. Our architecture learns to apply parsimonious dimension reduction to functional inputs that focuses only on information relevant to the target rather than irrelevant variation in the input function. Across numerous classification/regression tasks with functional data, our method empirically outperforms other types of neural networks, and we prove that our approach is statistically consistent with low generalization error. Code is available at: \url{https://github.com/jwyyy/AdaFNN}.

研究动机与目标

• 解决传统函数型数据分析（FDA）方法依赖预设、非自适应基函数的局限性。
• 克服两阶段流程（如 FPCA 或 B-样条基函数 + 神经网络）效率低下的问题，此类流程未针对下游预测任务优化基函数。
• 开发一种神经网络架构，通过使基函数适应响应变量，联合学习降维与预测。
• 通过新型基层（Basis Layer）实现函数型神经网络的端到端训练，学习监督学习中相关的函数型特征。
• 建立所提架构的理论一致性和泛化误差界。

提出的方法

• 提出一种新型基层（BL），其中每个隐藏单元代表一个由小型可训练神经网络（微神经网络）实现的基函数。
• 将基层的输出用作输入函数 $X(t)$ 的低维、任务特定表示，仅捕捉与响应变量 $Y$ 相关的变化。
• 通过反向传播端到端训练整个网络，使梯度能够通过基函数流动，从而根据预测目标自适应调整基函数。
• 应用正则化技术：$L_1$ 惩罚以实现稀疏性，正交基函数正则化以提升模型可解释性与泛化能力。
• 使用权重 $\omega_j$ 进行数值积分，即使在非均匀采样数据上也能计算函数与基函数之间的内积。
• 通过拼接或独立基层的方式，将该框架扩展至处理向量值函数型数据、多个函数型协变量及辅助协变量。

实验结果

研究问题

• RQ1 与固定基函数相比，通过端到端学习获得的自适应基函数是否能提升函数型数据分析中的预测性能？
• RQ2 仅聚焦于响应相关变化的基函数学习是否能带来更好的泛化能力与更低的模型复杂度？
• RQ3 所提出的 AdaFNN 架构与标准基线方法（如 FPCA + NN 和 B-样条 + NN）相比，在多样化函数型数据任务中的表现如何？
• RQ4 正则化（正交与 $L_1$）对学习到的函数型表示的质量与可解释性有何影响？
• RQ5 自适应基函数层能否有效应用于稀疏观测或非均匀采样函数型数据？

主要发现

• AdaFNN 在全部九个函数型数据任务中（包括真实世界数据集的分类与回归）均优于所有基线方法，包括 FPCA + NN 和 B-样条 + NN。
• 该模型在使用更少基函数的情况下仍取得更高准确率，表明其具有更高的样本效率与简洁性。
• 当 $\lambda_1 > 0$ 时，$L_1$ 惩罚在多个数据集上提升了模型性能，表明稀疏性有助于提升表示质量。
• 正交正则化始终提升性能，尤其在高维函数型输入任务中，通过促进不相关且信息丰富的基函数实现。
• 最佳结果始终由加入正则化的 AdaFNN 实现，表明结合合适归纳偏置的自适应基函数学习可获得更优泛化能力。
• AdaFNN 在非均匀采样数据上泛化良好，但稀疏观测数据上的表现仍具挑战，可能需要在微神经网络中引入更强的归纳偏置。