[論文レビュー] Link Prediction Under Imperfect Detection: Collaborative Filtering for Ecological Networks

Xiao Fu, Eugene Seo+2 more|arXiv (Cornell University)|Oct 8, 2019

Complex Network Analysis Techniques参考文献 33被引用数 4

ひとこと要約

本稿は、野外観察における系統的でない検出を考慮した生態的二部ネットワークのための新しい共同フィルタリングフレームワークを提案する。潜在空間におけるポアソンN混合モデルと確率的非負値行列分解（NMF）を統合することで、観測データ（Y）における欠測の影響を是正しつつ、未観測の真の相互作用数（N）をモデル化する。実際の受粉および宿主-寄生者ネットワークにおいて、既存のリンク予測手法を著しく上回る性能を発揮する。

ABSTRACT

Matrix completion based collaborative filtering is considered scalable and effective for online service link prediction (e.g., movie recommendation) but does not meet the challenges of link prediction in ecological networks. A unique challenge of ecological networks is that the observed data are subject to systematic imperfect detection, due to the difficulty of accurate field sampling. In this work, we propose a new framework customized for ecological bipartite network link prediction. Our approach starts with incorporating the Poisson N-mixture model, a widely used framework in statistical ecology for modeling imperfect detection of a single species in field sampling. Despite its extensive use for single species analysis, this model has never been considered for link prediction between different species, perhaps because of the complex nature of both link prediction and N-mixture model inference. By judiciously combining the Poisson N-mixture model with a probabilistic nonnegative matrix factorization (NMF) model in latent space, we propose an intuitive statistical model for the problem of interest. We also offer a scalable and convergence-guaranteed optimization algorithm to handle the associated maximum likelihood identification problem. Experimental results on synthetic data and two real-world ecological networks data are employed to validate our proposed approach.

研究の動機と目的

• 野外のサンプリング制限に起因する観測相互作用数のバイアス（低め）を是正する課題に対処すること。
• 真のゼロ相互作用と見逃された検出を区別できる統計的に整合性のあるモデルを構築すること。
• 観測された低カウントデータ（Y）に依存するのではなく、潜在的な真の相互作用数（N）をモデル化することで、生態的二部ネットワークにおけるリンク予測の正確性を向上させること。
• 提案された二層生成モデルにおける最尤推定を実行するスケーラブルで収束保証のある最適化アルゴリズムを構築すること。
• 合成データおよび2つの実世界の生態的ネットワークを用いた検証により、既存の共同フィルタリングおよびリンク予測ベースラインを上回ることを示すこと。

提案手法

• 本手法は二層生成モデルを用いる：まず、真の種間相互作用を表すポアソン分布に従う潜在相互作用行列Nを定義し、次に、観測カウントYをNからのバイナリ選択（ベルヌーイ抽出）としてモデル化することで、不完全な検出を反映する。
• 潜在相互作用行列Nの低ランク構造を捉えるために、確率的非負値行列分解（NMF）を統合し、リンク予測のための共同フィルタリングを実現する。
• 未観測の真のカウントNを周辺化することで、観測データYに基づく推論が可能となる同時尤度関数を導出する。これにより、検出の不確実性を考慮した推論が可能になる。
• 収束保証付きの交互最適化アルゴリズムを提案し、大規模な生態的ネットワークにおけるスケーラブルな推論を実現する。
• 潜在相互作用パターンに影響を与える種の特徴量をモデルに組み込むことで、標準NMFを上回る予測性能を実現する。
• 本フレームワークは、予測された相互作用だけでなく、潜在的な真のカウント（N̂）の推定も行い、生態学者が生態的ネットワークの真の構造を理解する手がかりを得られる。

実験結果

リサーチクエスチョン

• RQ1 不完全な検出に起因する観測相互作用数の系統的低減を受ける生態的ネットワークにおいて、共同フィルタリング手法をどのように適合できるか。
• RQ2 ポアソンN混合モデルを用いて潜在的な真の相互作用行列（N）をモデル化することで、標準的な行列補完法と比較して、リンク予測の正確性がどの程度向上するか。
• RQ3 提案されたモデルは、不完全な検出を伴う実世界の生態的ネットワークにおいて、既存の共同フィルタリングおよびリンク予測ベースラインをどの程度上回るか。
• RQ4 推定された潜在相互作用数（N̂）は、受粉および宿主-寄生者ネットワークの真の構造に関する生態学的に意味のあるインサイトを提供できるか。
• RQ5 特徴量に基づく情報が、本手法の種間相互作用予測性能にどのように影響を与えるか。

主な発見

• 本手法は、宿主-寄生者ネットワークの保持された相互作用の予測において、全8つの比較手法をすべての3つの指標（rRMSE、AUROC、AUPRC）で上回り、rRMSEは3.538、AUROCは0.759を達成した。
• 受粉ネットワークにおいても、本手法は標準的な行列補完ベースの共同フィルタリング（MC-CF）およびニューラル共同フィルタリング（NCF）を著しく上回った。
• モデル推定によると、可能なリンクの80.1％が真のカウントがゼロより大きいと推定され、実際の相互作用のうち42％しか観測されていないと示唆しており、データに著しい低カウントが生じていることが明らかになった。
• 上位10件の予測相互作用（潜在的カウントの推定値に基づき順位付け）についての専門家による検証では、下位10件の予測と比較して、これらがより実際に相互作用する可能性が高いと強く合意された。これにより、モデルの生物学的妥当性が裏付けられた。
• NCF や BRT といった高度なモデル即し、本手法が優れた性能を発揮した。これは、不完全な検出をモデル化することが生態的リンク予測において極めて重要であることを示している。
• 本手法が潜在的真のカウント（N̂）を推定できることにより、将来的な野外調査の設計に役立つ基準が得られ、欠落した相互作用の程度を明確に示すことができる。