[论文解读] FDApy: a Python package for functional data

Steven Golovkine|arXiv (Cornell University)|Jan 26, 2021

Statistical Methods and Inference参考文献 32被引用 4

一句话总结

FDApy 是一个用于分析多元和多维函数数据（包括不规则采样数据）的开源 Python 软件包，采用基展开和多元函数主成分分析（MFPCA）。它能够准确估计特征函数，并支持模拟、降维和可视化，在从复杂数据集中恢复真实函数结构方面表现出高精度。

ABSTRACT

We introduce FDApy, an open-source Python package for the analysis of functional data. The package provides tools for the representation of (multivariate) functional data defined on different dimensional domains and for functional data that is irregularly sampled. Additionally, dimension reduction techniques are implemented for multivariate and/or multidimensional functional data that are regularly or irregularly sampled. A toolbox for generating functional datasets is also provided. The documentation includes installation and usage instructions, examples on simulated and real datasets and a complete description of the API. FDApy is released under the MIT license. The code and documentation are available at https://github.com/StevenGolovkine/FDApy.

研究动机与目标

• 为函数数据的分析（FDA）提供全面、可扩展且原生支持 Python 的工具，特别是针对多元和多维函数数据。
• 支持在不同维度域上定义或不规则采样的函数数据，这些类型的数据在现有 Python FDA 库中代表性不足。
• 提供一个灵活且可扩展的框架，用于实现和测试新的 FDA 方法，如回归和聚类。
• 通过 MFPCA 实现对复杂函数数据集（包括模拟和真实世界示例）的精确降维。
• 提供用户友好、文档齐全且采用 MIT 许可证的软件包，适用于科学和工业应用。

提出的方法

• 通过观测值和基展开表示函数数据，实现对多元和多维函数的灵活建模。
• 采用多元函数主成分分析（MFPCA）对规则和不规则采样数据进行降维。
• 使用截断的 Karhunen-Loève 展开，结合正交基（如傅里叶、勒让德）来模拟具有受控结构的函数数据。
• 对估计的特征函数应用 P-样条平滑，以提高数值稳定性和可视化效果。
• 实现一个模拟工具箱，允许用户配置参数，如基类型、特征值衰减方式以及采样不规则性（移除 65–85% 的采样点）。
• 通过内积矩阵表示数据，并通过经验协方差算子的对角化实现特征函数的估计。

实验结果

研究问题

• RQ1 基于 Python 的 FDA 软件包能否有效处理定义在不同维度域上的多元函数数据，包括不规则采样？
• RQ2 FDApy 中的 MFPCA 在多大程度上能从具有复杂多维结构的模拟函数数据中准确恢复真实特征函数？
• RQ3 FDApy 在多大程度上支持将新统计方法（如回归或聚类）集成到不规则和多元函数数据中？
• RQ4 FDApy 的模拟工具箱在多大程度上能准确再现已知的函数数据特征，如特征函数形状和得分分布？
• RQ5 FDApy 是否能作为现有基于 R 的 FDA 工具在 Python 科学计算生态系统中的强大、可扩展且用户友好的替代方案？

主要发现

• FDApy 在模拟研究中成功以高精度估计多元特征函数，表现为真实与估计特征函数在视觉上几乎完全重合。
• 即使在数据不规则采样的情况下，方法仍能精确恢复特征函数，即使第一维特征中随机移除高达 85% 的采样点。
• 模拟工具箱能准确再现具有指定基结构（如傅里叶和勒让德）、特征值衰减（λk = exp(−(k+1)/2)）以及通过随机加权因子实现的多元相关性的函数数据。
• 通过内积矩阵对角化实现的 MFPCA 有效捕捉了图像和曲线特征中主导的变异模式。
• FDApy 集成的 P-样条平滑显著提升了估计特征函数的视觉和数值稳定性，尤其在不规则采样场景下表现突出。
• 该软件包在处理多种函数数据类型（包括加拿大天气和 NBA 投篮轨迹等真实世界数据集）方面表现出强大的鲁棒性和灵活性。