[论文解读] Bootstrapped Adaptive Threshold Selection for Statistical Model Selection and Estimation

Kristofer E. Bouchard|arXiv (Cornell University)|May 13, 2015

Neural dynamics and brain function参考文献 2被引用 6

一句话总结

该论文提出了一种名为自举自适应阈值选择（BoATS）的新方法，用于稀疏模型估计。该方法利用自举法自适应地设定变量选择的阈值，随后通过普通最小二乘法进行重拟合。在不同噪声水平和模型稀疏性分布下，BoATS在参数恢复的准确性和无偏性方面优于L1和L2正则化，尤其在神经科学应用（如从ECoG信号解码语音）中表现突出。

ABSTRACT

A central goal of neuroscience is to understand how activity in the nervous system is related to features of the external world, or to features of the nervous system itself. A common approach is to model neural responses as a weighted combination of external features, or vice versa. The structure of the model weights can provide insight into neural representations. Often, neural input-output relationships are sparse, with only a few inputs contributing to the output. In part to account for such sparsity, structured regularizers are incorporated into model fitting optimization. However, by imposing priors, structured regularizers can make it difficult to interpret learned model parameters. Here, we investigate a simple, minimally structured model estimation method for accurate, unbiased estimation of sparse models based on Bootstrapped Adaptive Threshold Selection followed by ordinary least-squares refitting (BoATS). Through extensive numerical investigations, we show that this method often performs favorably compared to L1 and L2 regularizers. In particular, for a variety of model distributions and noise levels, BoATS more accurately recovers the parameters of sparse models, leading to more parsimonious explanations of outputs. Finally, we apply this method to the task of decoding human speech production from ECoG recordings.

研究动机与目标

• 解决使用L1和L2等结构化正则化方法时稀疏模型参数估计存在偏差的挑战。
• 开发一种结构最小化的估计方法，在保持可解释性的同时准确恢复真实的稀疏模型参数。
• 在神经科学数据中常见的高噪声和小样本情形下，提升模型选择与估计的准确性。
• 为神经解码任务中基于正则化的稀疏估计提供一种实用且可解释的替代方案。
• 在真实世界的人类语音产生解码ECoG数据上评估性能。

提出的方法

• 该方法利用自举法从原始数据中生成多个重采样数据集，以估计模型系数的抽样分布。
• 基于自举样本中每个系数的经验分布，为每个系数确定一个自适应阈值，优先选择真正活跃的变量。
• 超过自适应阈值的变量被保留，最终模型在选定变量上使用普通最小二乘法进行重拟合。
• 该阈值处理过程为非参数且数据驱动，避免对真实稀疏模式或噪声分布的假设。
• 该方法避免对系数向量结构施加强先验假设，与正则化方法相比可减少偏差。
• 该方法应用于神经解码，通过所选稀疏模型估计ECoG信号与语音特征之间的关系。

实验结果

研究问题

• RQ1 非正则化、数据驱动的阈值方法能否在恢复稀疏模型参数方面优于传统的L1和L2正则化？
• RQ2 BoATS在真实模型不同噪声水平和稀疏性水平下的表现如何？
• RQ3 基于自举抽样的自适应阈值是否能提供比固定阈值或惩罚方法更准确、更少偏差的参数估计？
• RQ4 在涉及高维ECoG数据的神经解码任务中，BoATS能否提供更简洁且可解释的模型？
• RQ5 在真实神经科学应用（如从皮层脑电图解码语音）中，BoATS与正则化方法相比表现如何？

主要发现

• 在多种模拟模型分布下，BoATS在恢复真实稀疏系数结构方面始终优于L1和L2正则化。
• 该方法在高噪声条件下显著降低了估计偏差，并提高了参数恢复的准确性。
• BoATS通过更精确地识别并排除不活跃变量，生成了更简洁的模型，优于基于正则化的方法。
• 在ECoG语音解码任务中，与L1和L2方法相比，BoATS在神经活动与语音特征之间提供了更准确、更可解释的映射关系。
• 自适应阈值机制有效捕捉了真实稀疏模式，而无需事先知晓信噪比或稀疏度水平。
• 自举阈值与OLS重拟合的结合在小样本情形下提升了泛化能力并减少了过拟合。