[論文レビュー] Semi-Supervised Learning with Heterophily

Wolfgang Gatterbauer|arXiv (Cornell University)|Dec 9, 2014

Bayesian Modeling and Causal Inference参考文献 22被引用数 8

ひとこと要約

本稿では、同型性（同じ者同士が集まる）と異型性（対極が引き寄せられる）の両方を扱えるように、グラフベースのラベル伝搬を一般化する線形推論フレームワークである半教師付き学習における異型性（SSLH）を提案する。同型性と異型性を、対称的かつ二重確率的（doubly stochastic）な適合性行列 H を用いてクラス間の適合性をモデル化することで実現する。本手法は部分的にラベルが付与されたデータから単純な最適化により H を学習し、適合性の強さに関する事前知識がなくても、高速かつ高精度なノード分類を実現する。LinBP と同等の速度を維持しながらも、精度を上回る。

ABSTRACT

We derive a family of linear inference algorithms that generalize existing graph-based label propagation algorithms by allowing them to propagate generalized assumptions about "attraction" or "compatibility" between classes of neighboring nodes (in particular those that involve heterophily between nodes where "opposites attract"). We thus call this formulation Semi-Supervised Learning with Heterophily (SSLH) and show how it generalizes and improves upon a recently proposed approach called Linearized Belief Propagation (LinBP). Importantly, our framework allows us to reduce the problem of estimating the relative compatibility between nodes from partially labeled graph to a simple optimization problem. The result is a very fast algorithm that -- despite its simplicity -- is surprisingly effective: we can classify unlabeled nodes within the same graph in the same time as LinBP but with a superior accuracy and despite our algorithm not knowing the compatibilities.

研究の動機と目的

• 既存の半教師付き学習手法が同型性（同じ者同士が集まる）を仮定しているという制限を解決すること。これは、現実のグラフでは異型性（対極が引き寄せられる）が一般的であるため、その仮定が崩れる。
• ラベル伝搬手法を、類似性と相違性の両方を含む、任意のクラス間適合性関係を扱えるように一般化すること。
• 部分ラベル付きグラフから、適合性行列 H の学習と未ラベルノードのラベル予測を同時に実行する計算効率の良いフレームワークを開発すること。
• 適合性の強さに関する事前知識がなくても、LinBP より優れた分類精度を達成できることを示すこと。

提案手法

• ノードラベル推論を、クラス間の相対的適合性を符号化する対称的かつ二重確率的適合性行列 H を用いた線形変換としてモデル化する。
• 行確率行列のモodulation性（変調性）を利用：H を用いてラベル分布ベクトル x を変換しても、その行和が保存されるため、安定した線形ラベル伝搬が可能になる。
• 標準的な同型性仮定に代えて、H がクラス間の吸引（異型性）と排斥（同型的混合）を捉える一般化された適合性モデルを導入する。
• ラベル付きノードにおける予測ラベルと既知ラベルの差を最小化する凸最適化問題に H の推定問題を還元する。
• 既存のグラフベース SSL 手法（例：局所的・グローバル一貫性（LGC）や調和関数（HF））に本フレームワークを適用し、異型性に対応できるように拡張する。
• 適合性構造を埋め込んだベンチマーク用グラフを生成するための合成グラフ生成器を用い、本手法の評価を制御可能に行う。

実験結果

リサーチクエスチョン

• RQ1 線形推論フレームワークは、ノード分類において同型性と異型性の両方を扱えるように、既存のグラフベース SSL 手法を一般化できるか？
• RQ2 ノードクラス間の相対的親和性を符号化する適合性行列 H は、部分的にラベルが付与されたデータから効率的に学習可能か？
• RQ3 提案手法は、LinBP と同等の計算効率を維持しながら、より高い分類精度を達成できるか？
• RQ4 真の適合性構造が不明で、限られたラベルから推定しなければならない場合、本フレームワークはどの程度のロバストネスを示すか？
• RQ5 強い異型性や混合された同型的／非同型的構造などの異なる適合性パターンは、本手法の性能にどのように影響を与えるか？

主な発見

• 提案された SSLH フレームワークは、適合性の強さに関する事前知識がなくても、合成グラフおよび実世界のグラフにおいて LinBP よりも高い分類精度を達成した。
• 本手法は、単純な凸最適化問題により適合性行列 H を学習するため、効率的かつスケーラブルな推論が可能である。
• LGC や HF の既存手法を、標準的な同型性仮定に代えて柔軟な H 行列を導入することで、任意の適合性関係（異型性を含む）を扱えるように一般化した。
• 行確率行列のモodulation性により、複雑な適合性パターン下でも安定したラベル伝搬が可能となり、ラベル分布の和が保持される。
• 実験では、複数のデータセットおよび適合性構造（強い異型性を含む）において、SSLH は LinBP を上回る精度を示した。
• 合成グラフ生成器は、適合性行列を埋め込んだグラフと所望の次数分布を有するグラフを効果的に生成でき、本手法のロバストネスおよび精度の制御された評価に成功した。