[论文解读] Gaussian process modelling of multiple short time series

Hande Topa, Antti Honkela|arXiv (Cornell University)|Oct 9, 2012

Gaussian Processes and Bayesian Inference参考文献 17被引用 3

一句话总结

本文提出了一种约束高斯过程（GP）建模方法，用于处理大量短时间序列，解决了高通量生物数据中的过拟合与欠拟合问题。通过严格推导基于频率的GP长度尺度边界，并在观测噪声上使用信息性先验，该方法实现了对数千个短时间序列的可靠自动拟合，无需人工干预，已在合成数据和基因表达数据上得到验证，显著减少了问题拟合的情况。

ABSTRACT

We present techniques for effective Gaussian process (GP) modelling of multiple short time series. These problems are common when applying GP models independently to each gene in a gene expression time series data set. Such sets typically contain very few time points. Naive application of common GP modelling techniques can lead to severe over-fitting or under-fitting in a significant fraction of the fitted models, depending on the details of the data set. We propose avoiding over-fitting by constraining the GP length-scale to values that focus most of the energy spectrum to frequencies below the Nyquist frequency corresponding to the sampling frequency in the data set. Under-fitting can be avoided by more informative priors on observation noise. Combining these methods allows applying GP methods reliably automatically to large numbers of independent instances of short time series. This is illustrated with experiments with both synthetic data and real gene expression data.

研究动机与目标

• 解决在基因表达数据中常见的大量短时间序列高斯过程建模中的过拟合与欠拟合问题。
• 为生物GP应用中此前仅凭启发式使用的长度尺度边界提供严格的理论基础。
• 实现在无需人工模型调优的情况下，对数千个独立短时间序列实现完全自动、可靠的GP拟合。
• 通过稳定GP模型拟合，提高下游分析（如基因调控网络推断）的准确性。
• 通过防止意外的过拟合失效模式，支持系统生物学中更复杂、更灵活的GP模型的过渡。

提出的方法

• 基于采样率的奈奎斯特频率，严格推导出GP长度尺度的边界，确保大部分能量集中在可重构的频率带内。
• 对长度尺度参数 ℓ 施加硬性上界，防止因函数灵活性过高导致的过拟合。
• 在观测噪声上使用更具信息性的先验，以减少低信号区域的欠拟合。
• 将受限的 ℓ 与预处理中固定的 σ²ₙ 结合，以在不同数据实例间稳定模型拟合。
• 采用约束超参数的最大似然估计，确保在高通量环境下的鲁棒性。
• 通过合成数据和系统生物学中的真实基因表达时间序列验证该方法。

实验结果

研究问题

• RQ1 在观测点较少的短时间序列上拟合高斯过程模型时，导致过拟合的原因是什么？
• RQ2 如何推导出一个理论上合理的长度尺度边界，以防止短时间序列GP模型的过拟合？
• RQ3 在稀疏数据环境中，信息性观测噪声先验在缓解欠拟合方面起到什么作用？
• RQ4 长度尺度约束与噪声先验如何共同提升在数千个独立时间序列上大规模GP拟合的可靠性？
• RQ5 在真实生物数据（如基因表达时间序列）中，这些约束在多大程度上减少了问题模型拟合？

主要发现

• 所提出的长度尺度边界显著减少了过拟合：在无约束条件下，7.3% 的模型显示 ℓ < aₗ，而应用边界后降至 0%。
• 观测噪声先验减少了欠拟合：当噪声固定时，σ²ₙ < 0.01 的模型比例从 8.3% 降低至 6.7%。
• 在单目标ODE模型中，ℓ 受限与 σ²ₙ 固定的结合有效纠正了弱表达调控因子（如 TIN）中的严重过拟合。
• 该方法实现了对 6,795 个基因的GP模型可靠自动拟合，显著减少了大规模分析中的手动干预。
• 似然曲面分析证实，小长度尺度并非点估计的产物，而是稀疏数据中真实存在的过拟合倾向的体现。
• 即使在非级联ODE等复杂模型中，当应用约束时，过拟合率仍保持较低水平。