[論文レビュー] Semi-Supervised Learning on Graphs Based on Local Label Distributions

Evgheniy Faerman, Felix Borutta+2 more|arXiv (Cornell University)|Feb 15, 2018

Advanced Graph Neural Networks参考文献 48被引用数 7

ひとこと要約

本稿では、グラフの近傍における局所的ラベル分布を活用することで、同型性やノード属性が弱い状況でも分類精度を向上させる、新しい半教師ありノード分類手法を提案する。APPR（Approximate Personalized Propagation of Residuals）手法を用いて隣接ノードからのラベル情報を集約することで、ノード属性が存在しない場合でさえ最先端の性能を達成し、未学習ノードへの一般化も可能である。

ABSTRACT

Most approaches that tackle the problem of node classification consider nodes to be similar, if they have shared neighbors or are close to each other in the graph. Recent methods for attributed graphs additionally take attributes of neighboring nodes into account. We argue that the class labels of the neighbors bear important information and considering them helps to improve classification quality. Two nodes which are similar based on class labels in their neighborhood do not need to be close-by in the graph and may even belong to different connected components. In this work, we propose a novel approach for the semi-supervised node classification. Precisely, we propose a new node embedding which is based on the class labels in the local neighborhood of a node. We show that this is a different setting from attribute-based embeddings and thus, we propose a new method to learn label-based node embeddings which can mirror a variety of relations between the class labels of neighboring nodes. Our experimental evaluation demonstrates that our new methods can significantly improve the prediction quality on real world data sets.

研究の動機と目的

• 既存のグラフベースのノード分類手法が同型性やノード属性に強く依存するという限界を是正すること。
• ノードの近傍ノードのラベル情報という未利用に近い信号を活用し、ノード埋め込みの質を向上させること。
• ノードが局所的に接続されていない場合や属性が欠落している場合でも有効なラベルベースのノード埋め込み手法を開発すること。
• ノードの近傍におけるラベル分布を活用することで、学習時に未確認のノードの分類を可能にすること。
• 実世界のグラフデータセットにおいて、ラベルベースの特徴量が属性ベースの手法と同等またはそれを上回ることを示すこと。

提案手法

• APPR（Approximate Personalized Propagation of Residuals）手法を用いて、隣接ノードのクラスラベルを集約することでラベルベースのノード埋め込みを導入する。
• トランジットパラメータαで制御される指定された範囲内でのノード間のラベル分布を、各ノードの局所的近傍をモデル化するために計算する。
• 既知のノードからラベル情報を未ラベルノードへと伝搬するパーソナライズドランダムウォークにより、ラベル分布を計算する。
• 得られたラベルベースの埋め込みは、ノード属性と組み合わせて使用するか、独立して使用可能であり、属性あり・なしの両方のグラフで性能を発揮する。
• 同型性を仮定せず、グラフ構造を通じてラベル情報を伝搬することで、学習時に未確認のノードの分類が可能である。
• 標準的な引用ネットワーク（Cora, CiteSeer, PubMed）を用い、micro-F1スコアで評価し、αパラメータのアブレーションを通じて感度を評価する。

実験結果

リサーチクエスチョン

• RQ1 ノード属性が利用不可または信頼できない状況下で、ノードの近傍における局所的ラベル分布を活用することで、ノード分類性能が向上するか？
• RQ2 提案手法のラベルベース埋め込みは、最先端の属性ベースおよび接続性ベースの手法と比較して、どのように性能を発揮するか？
• RQ3 本手法は、学習時に未確認のノードに対しても一般化可能か？また、同型性が成立しない状況ではどのように性能を示すか？
• RQ4 トランジットパラメータα（近傍の範囲を制御）の選択に伴い、モデルの性能はどの程度感度を示すか？
• RQ5 ラベルベース特徴量は、他の特徴量（例：ノード埋め込みや属性）と効果的に組み合わせて、性能向上に寄与するか？

主な発見

• 提案手法は、ノード属性を一切使用しない状況下でも、Cora, CiteSeer, PubMedの引用ネットワークで競争力ある性能を達成し、多数の強力なベースラインを上回った。
• PubMedデータセットでは、モデルがトランジットパラメータαに非常に敏感であることが示され、近傍の範囲が性能に顕著に影響することがわかった。
• 未学習ノードへの一般化が良好に機能し、多くの既存モデルとは異なり、新規ノードの追加に再学習を要しない。
• マルチラベル設定では、ラベルベース埋め込みとノード埋め込みを組み合わせることで、顕著な性能向上が得られた。
• ノードのラベルが近傍ノードと異なる非同型グラフでも、本手法は有効であることが実証され、非同型グラフに対して高いロバストネスを示した。
• 属性なしグラフにおいても、本手法は最先端の結果を達成した。これは、近傍におけるラベル情報がグラフ学習において強力で、かつ未利用に近い信号であることを示している。