[论文解读] Hierarchical correlation reconstruction with missing data, for example for biology-inspired neuron

Jarek Duda|arXiv (Cornell University)|Apr 17, 2018

Blind Source Separation Techniques参考文献 2被引用 6

一句话总结

该论文提出了一种用于缺失数据下多维密度估计的分层相关性重构方法，利用正交多项式基独立建模边缘、成对及高阶相关性。该方法通过估计完整的联合概率分布实现精确插补，支持不确定性感知的预测，并可作为生物启发的人工神经元用于局部预测与浅层学习。

ABSTRACT

Machine learning often needs to model density from a multidimensional data sample, including correlations between coordinates. Additionally, we often have missing data case: that data points can miss values for some of coordinates. This article adapts rapid parametric density estimation approach for this purpose: modelling density as a linear combination of orthonormal functions, for which $L^2$ optimization says that (independently) estimated coefficient for a given function is just average over the sample of value of this function. Hierarchical correlation reconstruction first models probability density for each separate coordinate using all its appearances in data sample, then adds corrections from independently modelled pairwise correlations using all samples having both coordinates, and so on independently adding correlations for growing numbers of variables using often decreasing evidence in data sample. A basic application of such modelled multidimensional density can be imputation of missing coordinates: by inserting known coordinates to the density, and taking expected values for the missing coordinates, or even their entire joint probability distribution. Presented method can be compared with cascade correlations approach, offering several advantages in flexibility and accuracy. It can be also used as artificial neuron: maximizing prediction capabilities for only local behavior - modelling and predicting local connections.

研究动机与目标

• 解决数据点存在缺失坐标时的多维密度估计挑战。
• 通过建模完整的联合概率分布而非依赖边缘平均值，提升数据插补性能。
• 通过估计的概率密度，实现对插补结果的不确定性与模糊性捕捉。
• 构建一个灵活的参数化框架，用于使用分层相关性项对不完整数据中的局部相关性进行建模。
• 探索该模型作为生物神经元类比的应用，通过部分输入学习并预测局部信号模式。

提出的方法

• 将联合概率密度建模为正交基函数的线性组合，特别是[0,1]^d上的一维正交多项式乘积。
• 通过L²-优化估计系数：每个系数为对应基函数在可用数据点上的样本平均值。
• 分层构建模型：首先对每个坐标估计边缘密度，然后仅使用所有所需坐标均存在的数据，逐步加入成对、三重等阶相关性。
• 使用基函数表示子集C ⊆ {1,…,d}的相关性，其中每个函数建模C中坐标之间的依赖关系。
• 对每个相关性层级独立进行归一化与系数估计，实现稀疏且高效的计算。
• 通过在神经元类架构中动态添加新函数（例如，针对新连接模式），实现基函数的自适应调整，尤其在新数据模式出现时。

实验结果

研究问题

• RQ1 如何从存在缺失坐标的不完整数据中，高效重构多维概率密度？
• RQ2 与边缘插补或标准方法相比，分层相关性建模是否能提升数据插补的准确性？
• RQ3 如何通过估计的联合概率分布捕捉插补中的不确定性和模糊性？
• RQ4 该密度模型在在多大程度上可作为生物神经元的功能类比，通过部分信号预测局部输入？
• RQ5 构建基于此类局部相关性神经元的深度学习网络，需要哪些架构原则？

主要发现

• 该方法通过估计缺失坐标的完整联合概率分布，实现精确插补，优于简单的均值插补，尤其在非线性或聚类数据（如圆形数据）中表现更优。
• 该模型可捕捉复杂结构，如双峰分布（例如圆形数据中的抛物线截面），并通过密度极小值实现聚类感知的插补。
• 正交基函数的系数可通过样本平均值独立估计，即使在稀疏数据下也能实现快速且可扩展的计算。
• 该方法支持不确定性量化：不提供单一插补值，而是为缺失变量提供完整的概率分布。
• 该模型可直接用作人工神经元，从剩余输入预测缺失输入，且可通过动态基函数调整适应新信号模式。
• 分层结构允许灵活建模相关性，高阶项证据递减，能根据数据可用性自适应调整，无需重新训练整个模型。