[论文解读] Inferring serial correlation with dynamic backgrounds

Wei Song, Yao Xie+1 more|arXiv (Cornell University)|Jul 18, 2021

Statistical Methods and Inference被引用 1

一句话总结

本文提出了一种基于Ljung-Box检验调参的总变差约束最小二乘估计器，用于推断具有未知、非结构化且动态背景的序列数据中的序列相关性。该方法实现了接近最优的估计误差界，并在模拟实验和一项心理学研究中表现出强劲的实证性能。

ABSTRACT

Sequential data with serial correlation and an unknown, unstructured, and dynamic background is ubiquitous in neuroscience, psychology, and econometrics. Inferring serial correlation for such data is a fundamental challenge in statistics. We propose a total variation constrained least square estimator coupled with hypothesis tests to infer the serial correlation in the presence of unknown and unstructured dynamic background. The total variation constraint on the dynamic background encourages a piece-wise constant structure, which can approximate a wide range of dynamic backgrounds. The tuning parameter is selected via the Ljung-Box test to control the bias-variance trade-off. We establish a non-asymptotic upper bound for the estimation error through variational inequalities. We also derive a lower error bound via Fano's method and show the proposed method is near-optimal. Numerical simulation and a real study in psychology demonstrate the excellent performance of our proposed method compared with the state-of-the-art.

研究动机与目标

• 为解决在背景未知、无结构且动态变化的条件下推断序列数据中序列相关性的挑战。
• 开发一种统计估计器，能够有效将序列相关性与复杂、非参数化的背景趋势分离。
• 为该估计方法建立非渐近误差界，并证明其接近最优性。
• 通过Ljung-Box检验提供一种实用的调参策略，以在实际应用中平衡偏差与方差。

提出的方法

• 该方法采用总变差约束的最小二乘估计器，将动态背景建模为分段常数，从而灵活逼近复杂且无结构的趋势。
• 通过Ljung-Box检验选择总变差惩罚的调参，以控制有限样本中的偏差-方差权衡。
• 理论分析利用变分不等式推导出序列相关性参数估计误差的非渐近上界。
• 利用Fano方法推导出下界误差，以证明所提估计器在极小化最大风险意义下的近似最优性。
• 该方法对背景过程的模型误设具有鲁棒性。
• 该框架整合假设检验，以在背景校正后验证序列相关性的存在。

实验结果

研究问题

• RQ1 在存在未知、动态且无结构背景的情况下，总变差约束估计器能否有效恢复序列相关性？
• RQ2 在缺乏对背景先验知识的前提下，实践中如何选择调参以平衡偏差与方差？
• RQ3 在如此复杂的背景条件下，序列相关性估计精度的理论极限是什么？
• RQ4 与理论下界相比，所提方法在估计误差方面是否接近最优？
• RQ5 与最先进方法相比，该方法在真实世界数据中的实证表现如何？

主要发现

• 所提估计器通过变分不等式推导出非渐近误差上界。
• 利用Fano方法建立了下界误差，证实所提方法在极小化最大风险意义下为近似最优。
• 基于Ljung-Box检验的调参策略在有限样本中有效控制了偏差-方差权衡。
• 数值模拟显示，该方法在复杂背景趋势下检测序列相关性方面优于最先进方法。
• 心理学领域的真实世界研究证实了该方法在分析序列行为数据中的实际效用与鲁棒性。
• 由于总变差强制实施的分段常数假设，该方法在背景呈现非光滑或突变变化时仍保持强劲性能。