[論文レビュー] On the Interpretability and Evaluation of Graph Representation Learning

Αντωνία Γώγογλου, C. Bayan Bruss+1 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Graph Neural Networks参考文献 17被引用数 5

ひとこと要約

本稿では、埋め込み次元が内在的（例：コミュニティ）および外在的（例：ノードラベル）なノードグループとどの程度整合しているかを定量化するための解釈可能性スコア（Interpretability Score）を導入することで、グラフ表現学習の解釈と評価のためのフレームワークを提案する。埋め込みの質はタスクやハイパーパrameterによって顕著に異なることが示され、リンク予測とコミュニティ検出では異なる次元設定が最適であることが明らかになり、標準ベンチマークを超えた多軸的評価の必要性が強調される。

ABSTRACT

With the rising interest in graph representation learning, a variety of approaches have been proposed to effectively capture a graph's properties. While these approaches have improved performance in graph machine learning tasks compared to traditional graph techniques, they are still perceived as techniques with limited insight into the information encoded in these representations. In this work, we explore methods to interpret node embeddings and propose the creation of a robust evaluation framework for comparing graph representation learning algorithms and hyperparameters. We test our methods on graphs with different properties and investigate the relationship between embedding training parameters and the ability of the produced embedding to recover the structure of the original graph in a downstream task.

研究の動機と目的

• 学習されたノード埋め込みのブラックボックス性を解消し、埋め込みの解釈を可能にする。
• 多様なグラフ特性と下流タスクを網羅する、堅牢な多次元評価フレームワークを構築し、埋め込みの質を評価する。
• ハイパーパrameter（例：埋め込み次元）が、グラフ内の構造的・意味的情報の回復能力に与える影響を調査する。
• すべてのタスクで最良のパフォーマンスを発揮する単一の埋め込み手法またはハイパーパramータ設定が存在するかを特定する。

提案手法

• 各埋め込み次元における上位・下位k値と事前に定義されたノードグループ（例：コミュニティやラベル）との重複に基づく解釈可能性スコア（IS）を提案する。
• 集合の共通部分の比率を用いて、各次元および各グループごとのISを計算する：$IS_{top(d,l)} = \frac{|C_l \cap top_k(E_d)|}{|C_l|} \times 100$。
• 解釈可能性の全体的な評価のため、次元ごとに（グループごとに）またはグループごとに（次元ごとに）最大値または平均値を用いてISスコアを集約する。
• ランダムウォークベースのモデル（例：Gensimを介したword2vec）を用いて、3つのデータセット（Brand Level Merchants、BlogCatalog、Flickr）上でノード埋め込みを生成する。
• 3つの下流タスク（二値／多値分類、コミュニティ検出（Louvain）、リンク予測（AUC））で埋め込みを評価する。
• データセット間で一貫したハイパーパラメータを用いた統一された評価パイプラインを採用し、埋め込み次元の影響を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 個々の埋め込み次元が、ノードグループに関する意味のある構造的・意味的情報をどの程度にエンコードしているか。
• RQ2 埋め込み次元が、コミュニティ検出、ノード分類、リンク予測などの異なる下流タスクにおけるパフォーマンスにどのように影響を与えるか。
• RQ3 解釈可能性スコアは、下流タスクにおける埋め込みの有効性を予測できるか。
• RQ4 すべてのタスクで良好に機能する単一の最適な埋め込み次元が存在するのか、それともタスクやグラフ構造に応じてパフォーマンスが異なるのか。

主な発見

• 解釈可能性スコアは、特定の埋め込み次元が特定のノードコミュニティやラベルと強く関連していることを示しており、分離可能な表現学習が行われていることを示唆している。
• Brand Level MerchantsおよびBlogCatalogでは、コミュニティ検出のパフォーマンスが低い次元（例：D=10）でピークに達するが、リンク予測は高い次元（D=128）で向上する。
• Flickrではリンク予測のAUCが次元に依存せず安定（≈0.96）しているが、コミュニティ検出のパフォーマンスは顕著に変動し、D=128で最高のF1を記録している。
• BlogCatalogでは外部ノード分類のパフォーマンスは次元が増加するにつれて向上するが、他のデータセットではパラメータが飽和または低下するため、タスクおよびグラフ固有の最適設定が存在する。
• 埋め込みの質は、リンク予測やノード分類の単一の指標では一貫して捉えられない。コミュニティ検出のような構造的タスクは、表現の質に関する補足的で重要な洞察を提供する。
• 本研究では、単一の目的（例：リンク予測）に最適化しても、すべての下流タスクで最適な表現が得られるとは限らないことが示され、多軸的評価の必要性が強調される。