[論文レビュー] EvalNE: A Framework for Evaluating Network Embeddings on Link Prediction

Alexandru Mara, Jefrey Lijffijt+1 more|arXiv (Cornell University)|Jan 22, 2019

Advanced Graph Neural Networks参考文献 6被引用数 5

ひとこと要約

EvalNE は、リンク予測タスクにおけるネットワーク埋め込み手法の評価を自動化および標準化する Python ツールボックスです。ハイパーパramータチューニング、エッジサンプリング、エッジ埋め込みの計算、メトリクス評価を簡素化し、ノード埋め込みおよびエッジ埋め込み手法の両方について、有向・無向ネットワークを問わず、カスタムコードを必要とせずに再現可能で比較可能な結果を得ることを可能にします。

ABSTRACT

In this paper we present EvalNE, a Python toolbox for evaluating network embedding methods on link prediction tasks. Link prediction is one of the most popular choices for evaluating the quality of network embeddings. However, the complexity of this task requires a carefully designed evaluation pipeline in order to provide consistent, reproducible and comparable results. EvalNE simplifies this process by providing automation and abstraction of tasks such as hyper-parameter tuning and model validation, edge sampling and negative edge sampling, computation of edge embeddings from node embeddings, and evaluation metrics. The toolbox allows for the evaluation of any off-the-shelf embedding method without the need to write extra code. Moreover, it can also be used for evaluating any other link prediction method, and integrates several link prediction heuristics as baselines.

研究の動機と目的

• リンク予測におけるネットワーク埋め込み手法の評価に、再現性や一貫性の欠如を是正すること。
• リンク予測の評価パイプラインを構築する際の複雑さとエラーの発生リスクを低減すること。
• トレイン/テスト分割、ネガティブサンプリング、評価メトリクスといった重要なステップを自動化することで、ネットワーク埋め込み手法の公平かつ比較可能なベンチマーク評価を可能にすること。
• ノード埋め込み手法と一般的なリンク予測ヒューリスティクス（有向ネットワークを含む）の両方をサポートすること。
• 既存の埋め込み手法を評価する際にコード変更を一切不要としない、即挿し可能なソリューションを提供すること。

提案手法

• EvalNE は、前処理、データ分割、エッジ埋め込み、二値分類、評価の各モジュールを交換可能なコンponentで構成するモジュラーなパイプラインアーキテクチャを採用しています。
• ネガティブエッジサンプリングに、オープンワールドおよびクローズドワールドの仮定を両方サポートし、ユーザーが指定したサイズのセットを用います。
• エッジ埋め込みは、ノード埋め込みから、指定可能な演算子（平均、ハダマード、重み付き L1、重み付き L2）を用いて計算されます。
• 二値分類は、デフォルトで正則化付きロジスティック回帰（L2ペナルティ）を用い、ハイパーパramータチューニングには 10 折り交差検証を適用しています。
• scikit-learn の分類器との統合をサポートし、固定しきい値メトリクス（例：AUC-ROC、F1スコア）としきい値曲線（ROC および精度再現率）の両方を提供しています。
• 有向・無向ネットワークの両方に対応する、一般的なリンク予測ヒューリスティクス（例：アダミック・アダール、リソース割り当て、優先的付加）の組み込み実装を備えています。

実験結果

リサーチクエスチョン

• RQ1 リンク予測におけるネットワーク埋め込み手法の評価パイプラインを、より再現可能でエラーの少ないものにすることは可能か？
• RQ2 異なるエッジ埋め込み戦略が、リンク予測におけるネットワーク埋め込み手法のパフォーマンスに与える影響は何か？
• RQ3 異なるネガティブサンプリング戦略（オープン vs. クローズドワールド）は、リンク予測評価の信頼性にどのように影響するか？
• RQ4 ノード埋め込み手法と従来のリンク予測ヒューリスティクスの両方をサポートする統一された評価フレームワークを、コード変更なしに構築可能か？
• RQ5 多様なネットワーク埋め込み手法にわたる、評価メトリクスとハイパーパramータチューニングの標準化の最も効果的な方法は何か？

主な発見

• EvalNE は、カスタムコードを一切必要とせず、市販のネットワーク埋め込み手法の評価を可能にし、実装のオーバーヘッドを顕著に低減しています。
• ライブラリのエッジサンプリングアルゴリズムは、ナイーブなアプローチに比べて桁違いに高速であり、大規模ネットワークへのスケーラビリティを向上させています。
• ハイパーパramータチューニングとモデル検証を自動化することで、不一致な設定による偏りのある比較のリスクを低減しています。
• 有向・無向ネットワークの両方をサポートしており、有向グラフにおけるイン・ネイバーおよびアウト・ネイバーの専用ヒューリスティクスも備えています。
• インパactsな論文の実験結果を再現可能な、事前入力済みの設定ファイルを提供しており、再現性を強化しています。
• EvalNE は、ノード埋め込みおよびエッジ埋め込み手法の両方について、データ分割、ネガティブサンプリング、メトリクス計算を完全に自動化する、唯一のオープンソースライブラリです。