[論文レビュー] Semi-Supervised Learning on Graphs through Reach and Distance Diffusion

Edith Cohen|arXiv (Cornell University)|Mar 30, 2016

Complex Network Analysis Techniques参考文献 68被引用数 3

ひとこと要約

本稿では、グラフ上の半教師付き学習に向け、ネットワークの中心性および影響モデルを活用して強いエッジを超える方向性のある弱い類似性を捉えるために、Reach DiffusionおよびDistance Diffusionカーネルを導入する。この手法はスケーラブルなスケッチアルゴリズムを用い、実験ではラベル伝搬法を上回る性能を示し、特に小さなシード集合においてランダム化された距離拡散スキームが優れた性能を発揮する。

ABSTRACT

Semi-supervised learning (SSL) is an indispensable tool when there are few labeled entities and many unlabeled entities for which we want to predict labels. With graph-based methods, entities correspond to nodes in a graph and edges represent strong relations. At the heart of SSL algorithms is the specification of a dense {\em kernel} of pairwise affinity values from the graph structure. A learning algorithm is then trained on the kernel together with labeled entities. The most popular kernels are {\em spectral} and include the highly scalable "symmetric" Laplacian methods, that compute a soft labels using Jacobi iterations, and "asymmetric" methods including Personalized Page Rank (PPR) which use short random walks and apply with directed relations, such as like, follow, or hyperlinks. We introduce {\em Reach diffusion} and {\em Distance diffusion} kernels that build on powerful social and economic models of centrality and influence in networks and capture the directed pairwise relations that underline social influence. Inspired by the success of social influence as an alternative to spectral centrality such as Page Rank, we explore SSL with our kernels and develop highly scalable algorithms for parameter setting, label learning, and sampling. We perform preliminary experiments that demonstrate the properties and potential of our kernels.

研究の動機と目的

• ラベル付きノードが少なく、ラベルなしノードが多いグラフにおける半教師付き学習の課題に対処すること。
• 強いエッジを超える弱い、方向性のある類似性を捉えるカーネルの開発。これは社会的・経済的影響を反映する。
• スケッチ技術を用いて、パラメータチューニング、ラベル学習、サンプリングの各プロセスを高度にスケーラブルに設計すること。
• ラベル伝搬のような標準的なスペクトル手法と比較して、拡散ベースのカーネルの有効性を評価すること。
• 現代の埋め込みベースの学習パイプラインにおけるスペクトルカーネルの代替として、これらのカーネルの可能性を調査すること。

提案手法

• ネットワークにおける中心性および影響モデルにインspiredされたReach DiffusionおよびDistance Diffusionカーネルを提案。異なる長さの経路を通じて影響をモデル化する。
• ランダムな寿命または固定長の経路を用いて拡散プロセスをシミュレートし、$\alpha(x) = 1/x^{1.5}$ や $\alpha(x) = 1/\log_2(1+x)$ などの減衰関数を用いる。
• スケッチ技術を適用してカーネルエントリの計算をスケーリングし、大規模グラフ上での効率的推定を可能にする。
• ラベル予測にカーネル密度推定の式 $\boldsymbol{f}_i = \frac{\sum_{j \leq n_\ell} \kappa_{ij} \boldsymbol{y}_j}{\sum_{j \leq n_\ell} \kappa_{ij}}$ を用いる。これは非対称カーネルに対しても有効である。
• 独立した経路長を用いたランダム化スキーム（ExpInd）と決定的スケッチを組み合わせて、カーネル値の効率的推定を実現する。
• rMagおよびLoReg指標による成功スコアリングと、予測マージン $\Delta_i = \|\overline{\boldsymbol{y}}(S) - \boldsymbol{f}_i\|_2$ を用いた精度-再現率トレードオフの評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 ReachおよびDistance Diffusionカーネルは、ラベル伝搬のような伝統的なスペクトルカーネルと比較して、グラフ上の半教師付き学習においてどのように性能を発揮するか？
• RQ2 拡散ベースのカーネルは、ソーシャルネットワークやレコメンデーショングラフのようなスパースで現実的な有向ネットワークにおいて、弱い方向性のある類似性を効果的にモデル化できるか？
• RQ3 固定長または決定的スキームと比較して、ランダム化された経路長スキームは、ラベル予測の品質をどの程度向上させるか？
• RQ4 減衰関数 $g(x)$ や拡散プロセスにおける $\delta$ のようなハイパーパrameterの選択に、性能はどの程度感受性を示すか？
• RQ5 スケッチに基づく近似は、大規模グラフ上でのスケーラビリティを確保しつつも、高い正確性を維持できるか？

主な発見

• $g(x) = 1/x$ および $\delta = 50$ のランダム化された距離拡散が最良の性能を示し、ラベル伝搬法やベースライン手法を顕著に上回った。
• ランダム化スキームはシミュレーション回数を増やすことで著しく向上し、確率的経路長サンプリングの価値を示した。
• 小さなシード集合では、rMagスコアリングにより、$g(x) = x$ のReach Diffusionと、$g(x) = 1/x$ のランダム化距離拡散が最も効果的であった。
• 固定長距離拡散（$\alpha(x) = 1/\log_2(1+x)$、$\delta = 50$）は、特に大きなシード集合において優れた性能を示した。
• ベースラインの平均シードラベルを用いた手法は、クラスの偏りのためスコアが0.55にとどまったが、すべての拡散ベース手法がこれを顕著に上回った。
• 決定的スキームではnnカーネルの性能が悪かったが、ランダム化スキームでは良好な結果を示し、最近隣の選択よりも経路の多様性の重要性が浮き彫りになった。