[论文解读] Link Prediction Under Imperfect Detection: Collaborative Filtering for Ecological Networks

Xiao Fu, Eugene Seo+2 more|arXiv (Cornell University)|Oct 8, 2019

Complex Network Analysis Techniques参考文献 33被引用 4

一句话总结

本文提出了一种新颖的协同过滤框架，用于生态学双部网络，能够考虑野外观测中的系统性检测不完善问题。通过将泊松N-混合模型与潜在空间中的概率非负矩阵分解（NMF）相结合，该方法在建模未观测到的真实交互次数（N）的同时，纠正了观测数据（Y）中的低估问题，在真实传粉网络和寄主-寄生虫网络上显著优于现有链接预测方法。

ABSTRACT

Matrix completion based collaborative filtering is considered scalable and effective for online service link prediction (e.g., movie recommendation) but does not meet the challenges of link prediction in ecological networks. A unique challenge of ecological networks is that the observed data are subject to systematic imperfect detection, due to the difficulty of accurate field sampling. In this work, we propose a new framework customized for ecological bipartite network link prediction. Our approach starts with incorporating the Poisson N-mixture model, a widely used framework in statistical ecology for modeling imperfect detection of a single species in field sampling. Despite its extensive use for single species analysis, this model has never been considered for link prediction between different species, perhaps because of the complex nature of both link prediction and N-mixture model inference. By judiciously combining the Poisson N-mixture model with a probabilistic nonnegative matrix factorization (NMF) model in latent space, we propose an intuitive statistical model for the problem of interest. We also offer a scalable and convergence-guaranteed optimization algorithm to handle the associated maximum likelihood identification problem. Experimental results on synthetic data and two real-world ecological networks data are employed to validate our proposed approach.

研究动机与目标

• 解决生态网络数据中系统性检测不完善的问题，其中由于野外采样限制，观测到的交互次数存在系统性偏低偏差。
• 开发一种统计上严谨的模型，以区分物种相互作用网络中真正的零交互与漏检情况。
• 通过建模潜在的真实交互次数（N）而非依赖于观测到的、被低估的数据（Y），提升生态双部网络中的链接预测准确性。
• 为所提出的两层生成模型设计一种可扩展且收敛的优化算法，用于最大似然估计。
• 在合成数据和两个真实生态网络上验证该方法，证明其在性能上显著优于现有协同过滤和链接预测基线方法。

提出的方法

• 该方法采用两层生成模型：首先，以泊松分布建模的潜在交互矩阵N表示真实的物种相互作用；其次，观测到的计数Y被建模为从N中以二项分布方式选择的结果，从而考虑检测不完善的影响。
• 该模型整合了概率非负矩阵分解（NMF），以捕捉潜在交互矩阵N中的低秩结构，从而实现用于链接预测的协同过滤。
• 通过在未观测到的真实计数N上进行边缘化，推导出联合似然函数，从而在考虑检测不确定性的同时，对观测数据Y进行推断。
• 提出一种交替优化算法以最大化似然函数，具有收敛性保证，从而实现在大规模生态网络上的可扩展推断。
• 该模型引入了物种性状特征以指导潜在交互模式，从而在性能上超越标准NMF。
• 该框架不仅能估计预测的交互，还能估计潜在的真实计数（N̂），为生态学家提供关于生态网络真实结构的洞察。

实验结果

研究问题

• RQ1 能否将协同过滤方法适配于生态网络，其中由于检测不完善，观测到的交互次数系统性地被低估？
• RQ2 通过泊松N-混合模型引入潜在的真实交互矩阵（N），与标准矩阵补全方法相比，如何提升链接预测的准确性？
• RQ3 在存在检测不完善的现实生态网络中，所提出的模型在多大程度上优于现有的协同过滤和链接预测基线方法？
• RQ4 估计的潜在交互计数（N̂）能否为传粉网络和寄主-寄生虫网络的真实结构提供生态学上有意义的见解？
• RQ5 基于性状的特征在多大程度上影响所提出模型在预测物种相互作用方面的性能？

主要发现

• 在寄主-寄生虫网络中预测保留交互时，该方法在所有三项指标（rRMSE、AUROC、AUPRC）上均优于全部八种对比方法，rRMSE为3.538，AUROC为0.759。
• 在传粉网络中，该模型表现最佳，显著优于基于矩阵补全的协同过滤（MC-CF）和神经协同过滤（NCF）。
• 该模型估计显示，80.1%的可能链接具有大于零的潜在计数，表明仅观测到了42%的实际交互，说明数据中存在严重的低估现象。
• 专家对按估计潜在计数排名前10位的预测交互进行验证，结果表明这些交互比后10名更可能实际发生，支持了模型的生物学合理性。
• 该方法甚至优于NCF和BRT等先进模型，表明建模检测不完善对生态链接预测至关重要。
• 该模型能够估计潜在的真实计数（N̂），为生态学家设计未来的野外研究提供了参考，突显了缺失交互的严重程度。