[論文レビュー] Semi-Supervised Learning via Sparse Label Propagation

Alexander Jung, Alfred O. Hero+2 more|arXiv (Cornell University)|Dec 5, 2016

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、ネットワーク構造データ上での滑らかさを強制するため、ラベルを低全 variation を持つグラフ信号としてモデル化する、新しい半教師付き学習手法を提案する。ラベル予測を非滑らか凸最適化問題として定式化し、PockとChambolleが提唱したプリコンディショニング付き原対双法を用いて効率的に解くことで、大規模グラフ上でのスケーラブルでスパースなラベル伝搬が可能となり、ネットワークヌル空間性質（NNSP）の条件下で回復精度に理論的保証が得られる。

ABSTRACT

This work proposes a novel method for semi-supervised learning from partially labeled massive network-structured datasets, i.e., big data over networks. We model the underlying hypothesis, which relates data points to labels, as a graph signal, defined over some graph (network) structure intrinsic to the dataset. Following the key principle of supervised learning, i.e., similar inputs yield similar outputs, we require the graph signals induced by labels to have small total variation. Accordingly, we formulate the problem of learning the labels of data points as a non-smooth convex optimization problem which amounts to balancing between the empirical loss, i.e., the discrepancy with some partially available label information, and the smoothness quantified by the total variation of the learned graph signal. We solve this optimization problem by appealing to a recently proposed preconditioned variant of the popular primal-dual method by Pock and Chambolle, which results in a sparse label propagation algorithm. This learning algorithm allows for a highly scalable implementation as message passing over the underlying data graph. By applying concepts of compressed sensing to the learning problem, we are also able to provide a transparent sufficient condition on the underlying network structure such that accurate learning of the labels is possible. We also present an implementation of the message passing formulation allows for a highly scalable implementation in big data frameworks.

研究の動機と目的

• 限られたラベルデータを伴う大規模でネットワーク構造を持つデータセットにおける半教師付き学習の課題に対処すること。
• ラベル割り当てを低全 variation を持つグラフ信号としてモデル化し、滑らかさとクラスタ構造を強制すること。
• グラフのトポロジーを活用した、スケーラブルで分散型のメッセージパッシングアルゴリズムをラベル伝搬に開発すること。
• 圧縮センシングの原則に基づき、正確なラベル回復が可能となる理論的条件を提供すること。
• スパarsity と凸最適化を活用することで、ビッグデータフレームワークにおけるロバスト性とスケーラビリティを確保すること。

提案手法

• ラベル予測問題を、経験的損失とグラフ信号の全 variation のバランスを取る非滑らか凸最適化問題として定式化する。
• PockとChambolleが提唱したプリコンディショニング付き原対双法の変種を用いて、最適化問題を効率的に解く。
• メッセージパッシングに基づくスパースラベル伝搬アルゴリズムを導出することで、分散型でスケーラブルな計算を可能にする。
• 正確な信号回復のための十分条件として、ネットワークヌル空間性質（NNSP）を導入する。
• 圧縮センシングの概念を応用し、グラフとサンプリング集合のトポロジカルな条件を導出し、安定的かつ正確なラベル回復を保証する。
• 従来のラプラシアン2次形式と比較して、コミュニティ間の遷移が急峻である信号をよりよく捉えることができる、エッジベースの全 variation（TV）を滑らかさの指標として採用する。

実験結果

リサーチクエスチョン

• RQ1 グラフ信号上での全 variation 最小化は、従来のラプラシアンに基づく手法と比較して、半教師付き学習におけるより正確なラベル伝搬を実現できるか？
• RQ2 スパースラベル伝搬における正確なラベル回復を保証するための、グラフ構造とサンプリング集合に関する理論的条件は何か？
• RQ3 大規模ネットワーク上で、ラベル予測の最適化問題をスケーラブルに効率的に解く方法は何か？
• RQ4 提案手法は、スパarsity とネットワークトポロジーをどのように活用して、分散型メッセージパッシング推論を可能としているか？
• RQ5 圧縮センシングの原則を用いて、半教師付き学習における成功したラベル回復の透明で検証可能な条件を導出できるか？

主な発見

• ネットワークがヌル空間性質（NNSP）を満たしている場合、提案手法は正確なラベル回復を達成する。これは、サンプリング集合がグラフの与えられたクラスタ分割を解消している場合に保証される。
• 理論的解析により、サンプリング集合が各クラスタ境界に十分に交差している場合、回復誤差が真の信号の非サポート領域における全 variation の定数倍で有界であることが示された。
• アルゴリズムは、データグラフ上のメッセージパッシングにより、大変にスケーラブルで分散型の実装が可能であり、ビッグデータフレームワークに適している。
• 全 variation を滑らかさの指標として用いることで、コミュニティ間で急峻な遷移を示すクラスタ信号を、従来のラプラシアンベース手法と比較してよりよくモデル化できる。
• プリコンディショニング付き原対双法により収束が保証され、大規模グラフでも効率的な計算が可能である。
• 圧縮センシング理論から導出された、グラフのクラスタ構造とサンプリングパターンに基づく透明な十分条件を提供し、正確な学習が可能である。