[論文レビュー] Limitations and Alternatives for the Evaluation of Large-scale Link Prediction

Dario García-Gasulla, Ayguadé Eduard+2 more|arXiv (Cornell University)|Nov 2, 2016

Advanced Graph Neural Networks参考文献 33被引用数 5

ひとこと要約

本稿では、多数の非エッジがあるため誤検出が支配的になる大規模なリンク予測におけるクラス不均衡問題に対処するため、制約付きAUPR（CAUPR）指標を提案する。グラフサイズに基づいて保守的な誤検出数の上限を設定することで、特にスケールフリーで大規模なグラフにおいて、標準AUPRよりも現実的で解釈可能な性能評価を可能にする。実世界のデータセット（DBpedia、1700万頂点）において、トップパフォーマンスを示すアルゴリズムの同定において、AUPRを実証的に上回る。

ABSTRACT

Link prediction, the problem of identifying missing links among a set of inter-related data entities, is a popular field of research due to its application to graph-like domains. Producing consistent evaluations of the performance of the many link prediction algorithms being proposed can be challenging due to variable graph properties, such as size and density. In this paper we first discuss traditional data mining solutions which are applicable to link prediction evaluation, arguing about their capacity for producing faithful and useful evaluations. We also introduce an innovative modification to a traditional evaluation methodology with the goal of adapting it to the problem of evaluating link prediction algorithms when applied to large graphs, by tackling the problem of class imbalance. We empirically evaluate the proposed methodology and, building on these findings, make a case for its importance on the evaluation of large-scale graph processing.

研究の動機と目的

• 従来の指標が機能しない、大規模かつ極端に不均衡なグラフにおけるリンク予測アルゴリズムの評価の課題に対処する。
• 10-foldクロスバリデーションや完全なROC/AUC評価の限界を特定する。特に大規模グラフにおける問題点を明らかにする。
• ドメインに依存せず、グラフサイズに適応する性能指標を提案し、誤検出の実用的許容範囲を反映させる。
• 標準AUPRが誤検出率の制御が不十分なため、大規模リンク予測において誤解を招く可能性があることを実証的に示す。
• 現代の大規模グラフマイニング応用に適した、スケーラブルで計算効率の良い評価フレームワークを提供する。

提案手法

• 誤検出数の上限をグラフ内の全エッジ数に設定することで、AUPR（精度-再現率曲線下積分）の制約付きバージョンであるCAUPRを導入する。
• グラフサイズに基づいて、現実の実装可能性を反映する保守的な誤検出許容数のしきい値を定義する。
• 10万頂点を超えるグラフにおいては、計算コストを約10倍削減できるように、従来の10-foldクロスバリデーションを1回の安定した10%ランダム分割に置き換えることで、従来の評価手法を適応させる。
• 不均衡な状況下ではROC曲線よりも精度-再現率曲線がより情報量が多いと主張し、主に精度-再現率曲線を評価ツールとして用いる。
• DBpedia（1700万頂点）を含む複数の実世界グラフで、3つのリンク予測アルゴリズムにCAUPR指標を適用し、現実的な制約下での性能を比較する。
• 10万〜1700万頂点のさまざまなサイズのグラフで本手法の妥当性を検証し、一貫性のある挙動とスケーラビリティを示す。

実験結果

リサーチクエスチョン

• RQ1 大規模グラフにおける極端なクラス不均衡は、AUPR や AUC のような標準的評価指標の信頼性にどのように影響を与えるか？
• RQ2 10-foldクロスバリデーションは大規模グラフにおいて依然として必要または有益であるか？また、より単純で効率的な分割戦略に置き換え可能か？
• RQ3 制約付きAUPR指標（CAUPR）は、標準AUPRよりも大規模リンク予測においてより現実的で解釈可能な性能評価を提供できるか？
• RQ4 異なるリンク予測アルゴリズムは、CAUPRとAUPRの両方で大規模で実世界のグラフ上でどのように順位付けされるか？
• RQ5 提案された評価手法は、実際のところ、本当に効果的なリンク予測アルゴリズムの検出を向上させるか？

主な発見

• CAUPRは、誤検出数をグラフ内の全エッジ数に制限することで、標準AUPRよりも現実的で信頼性の高い性能評価を提供する。
• 10-foldクロスバリデーションを1回の10%ランダム分割に置き換えることで、10万頂点を超えるグラフにおいて計算コストを10倍削減でき、安定した評価が可能である。
• DBpediaグラフ（1700万頂点）において、AUPRとCAUPRは3つのテスト済みリンク予測アルゴリズムの順位を異なるものとして評価し、標準AUPRが大規模な設定で誤解を招く可能性があることを示している。
• CAUPRはグラフサイズと密度に適応し、AUPRがわずかな高再現率・低精度の予測に支配されるような極端に不均衡なグラフでも意味を持つ。
• 性能が悪い場合にはCAUPRが0になり、性能が優れている場合にはCAUPRがAUPRに等しくなるため、現実の実装可能性を反映した自然な上限と下限を提供する。
• 実証的結果から、AUPRとCAUPRの差がグラフサイズに応じて増大する傾向が示され、今後の大きな規模のグラフマイニングにおいて制約付き評価の重要性が高まっていることが明らかになった。