[論文レビュー] Predictability of missing links in complex networks

Guillermo García-Pérez, Roya Aliakbarisani+2 more|arXiv (Cornell University)|Jan 31, 2019

Complex Network Analysis Techniques被引用数 3

ひとこと要約

本稿では、ネットワーク形成における固有の確率的性質に起因する、リンク予測精度の理論的上限を確立している。具体的には、欠落リンクをその接続確率に基づいて順位付けする最適手法ですら、完全な正確性に到達できないことを示している。主な貢献は、実世界のネットワークからその予測可能性の限界を推定するフレームワークを提供することにある。

ABSTRACT

Predicting missing links in real networks is an important problem in network science to which considerable efforts have been devoted, giving as a result a vast plethora of link prediction methods in the literature. In this work, we take a different point of view on the problem and study the theoretical limitations to the predictability of missing links. In particular, we hypothesise that there is an irreducible uncertainty in link prediction on real networks as a consequence of the random nature of their formation process. By considering ensembles defined by well-known network models, we prove analytically that even the best possible link prediction method for an ensemble, given by the ranking of the ensemble connection probabilities, yields a limited precision. This result suggests a theoretical limitation to the predictability of links in real complex networks. Finally, we show that connection probabilities inferred by fitting network models to real networks allow to estimate an upper-bound to the predictability of missing links, and we further propose a method to approximate such bound from incomplete instances of real-world networks.

研究の動機と目的

• 実世界の複雑ネットワークにおける欠落リンクの予測可能性に、根本的な理論的限界が存在するかを調査すること。
• 確率的モデルで定義されるネットワークアンサンブルに対して、最も良い可能性のあるリンク予測手法を同定すること。
• 実際のネットワークから推定された接続確率に基づいて、予測精度の上限を導出すること。
• 実世界のネットワークの不完全または部分的な観測から、この上限を近似する手法を開発すること。

提案手法

• N 個のノードからなる無向ネットワークの集合 EN を、ノード i と j の間に独立に確率 pij で接続されるものとして定義する。
• ネットワーク G の同時確率を P(G) = ∏_{i<j} pij^{aij} (1−pij)^{1−aij} と定義する。ここで aij は隣接行列の要素である。
• 元のネットワーク G からリンクの割合 q をランダムに削除することで観測されたグラフ Gobs を構築する。この際、欠落リンクの数は保持される。
• 最適戦略 (OS) を、すべての欠落リンクをその接続確率 pij に基づいて降順に順位付けし、その順に予測する手法として定義する。
• 期待精度 ⟨Q⟩ を、同じ Gobs を得るすべての可能な元のネットワーク G における正しく予測されたリンクの平均割合として計算する。
• well-known なネットワークモデル（例：構成モデル、隠れ変数モデル）を実際のネットワークに適合させ、推定された pij を用いて OS の精度を計算することで、予測可能性の理論的上限を推定する。

実験結果

リサーチクエスチョン

• RQ1 与えられたネットワークアンサンブルにおいて、任意のリンク予測手法が到達可能な最大精度は何か？
• RQ2 ネットワーク形成の確率的性質に起因して、リンク予測に不可避な不確実性が存在するか？
• RQ3 実際のネットワークから推定された接続確率を用いて、リンク予測精度の理論的上限を推定できるか？
• RQ4 不完全または部分的なネットワークデータしか入手できない場合、この上限をどのように近似できるか？

主な発見

• ネットワークアンサンブルにおける最適なリンク予測戦略は、欠落リンクを接続確率 pij に基づいて順位付けすることであり、これは期待精度を最大化する。
• この最適戦略ですら、ネットワーク形成の本質的ランダムネスに起因して精度が限定的であり、予測誤差の理論的下限が存在することを示している。
• 実際のネットワークでは、ネットワークモデル（例：隠れ変数モデル）を適合させ、推定された pij を用いて OS の精度を計算することで、予測可能性の上限を推定できる。
• 部分的なデータから推定された pij を用いることで、不完全なネットワークインスタンスからもこの上限を近似可能である。
• 実際のネットワーク（例：Karate、Polbooks、Florida Food Web）を用いた実証的検証では、上限が常に 100% 未満であることが確認され、不可避な不確実性が裏付けられた。
• 精度の限界は定量的に境界付けられており、度数の不均一性やクラスタリングといったネットワークの構造的特性（モデル適合によって捉えられる）に依存する。