[論文レビュー] Residual2Vec: Debiasing graph embedding with random graphs

Sadamori Kojaku, Jisung Yoon+2 more|arXiv (Cornell University)|Oct 14, 2021

Advanced Graph Neural Networks参考文献 9被引用数 4

ひとこと要約

Residual2Vec は、度数やコミュニティ構造などの構造的バイアスを、ノイズのないランダムグラフを用いてモデル化することで、表現のバイアスを除去するグラフ埋め込みフレームワークである。スキップグラムのネガティブサンプリングによる暗黙のバイアス除去を活用することで、リンク予測、クラスタリング、ノード属性予測の性能が向上し、ジャーナルのインパクト要因や分野分類といった顕著なグラフ構造が明らかになる。

ABSTRACT

Graph embedding maps a graph into a convenient vector-space representation for graph analysis and machine learning applications. Many graph embedding methods hinge on a sampling of context nodes based on random walks. However, random walks can be a biased sampler due to the structural properties of graphs. Most notably, random walks are biased by the degree of each node, where a node is sampled proportionally to its degree. The implication of such biases has not been clear, particularly in the context of graph representation learning. Here, we investigate the impact of the random walks' bias on graph embedding and propose residual2vec, a general graph embedding method that can debias various structural biases in graphs by using random graphs. We demonstrate that this debiasing not only improves link prediction and clustering performance but also allows us to explicitly model salient structural properties in graph embedding.

研究の動機と目的

• ランダムウォークサンプリングバイアス（特に度数バイアス）がグラフ表現学習に与える影響を調査すること。
• 既存のグラフ埋め込み手法における構造的バイアスに対する明示的制御の欠如に対処すること。
• 一般化可能なフレームワークを構築し、グラフ埋め込みにおける体系的バイアスを選択的に除去できること。
• バイアス除去が、ジャーナルのインパクト要因や分野分類といった意味のある構造的特徴を捉えるのを向上させることを示すこと。
• 既存のランダムウォークベースのグラフ埋め込み手法が、特定のノイズモデルを持つ特別なケースとして統合可能な包括的フレームワークを提供すること。

提案手法

• Residual2Vec は、与えられたバイアス（例：度数やコミュニティ構造）の下で期待される構造的分布を捉えるノイズのないランダムグラフモデルを構築する。
• そのノイズモデルから合成されたランダムウォークの軌跡を生成し、そのバイアス下でのノードの共起の期待値を推定する。
• 実際のグラフにおける共起と期待共起の差分をとることで、バイアスを除去した残差埋め込みを計算する。
• その残差埋め込みは、度数バイアスを内蔵した最適化ダイナミクスにより、暗黙的に抑制されるスキップグラムネガティブサンプリング（SGNS）を用いて訓練される。
• 任意のランダムグラフモデルをノイズモデルとしてサポートすることで、さまざまな構造的性質の選択的バイアス除去が可能になる。
• 事前知識としてのグラフ構造を明示的にモデル化することで、期待されるパターンのモデル化が可能となり、透明性と解釈可能性を備えたバイアス除去が実現される。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォークのバイアス（特に度数バイアス）は、グラフ埋め込みの品質にどのように影響するか？
• RQ2 SGNS に内蔵されたバイアス除去特性を、度数以外の構造的バイアスに対しても一般化できるか？
• RQ3 バイアス除去は、リンク予測やコミュニティ検出といった下流タスクにおいて、どの程度性能を向上させるか？
• RQ4 構造的バイアスを除去することで、ジャーナルのインパクト要因や分野分類といった潜在的で意味のあるグラフ特徴を明らかにできるか？
• RQ5 Residual2Vec は、既存のグラフ埋め込み手法と比較して、顕著な構造的特徴をどの程度うまく捉えられるか？

主な発見

• Residual2Vec は、ベースラインのグラフ埋め込み手法と比較して、リンク予測およびクラスタリング性能を顕著に向上させた。
• 260,000 種のジャーナルからなる引用ネットワークにおいて、Residual2Vec はジャーナルインパクト要因および分野分類の予測において最高の R² スコアを達成した。
• r2v-dcSBM は、r2v-config よりも分野分類の予測で優れた性能を示し、時間的バイアスの効果的な除去を示した。
• r2v-dcSBM は、度数および年齢属性の R² スコアが最小であったことから、構造的および時間的特徴の成功したバイアス除去が確認された。
• Residual2Vec は、ランダムウォークバイアスが、ジャーナルインパクト要因や分野といった意味のある構造的信号を、標準的な埋め込みで隠してしまう可能性があることを明らかにした。
• 本手法は、明示的なバイアス除去が、より解釈可能で意味的に意味のあるグラフ表現をもたらすことを示した。