[論文レビュー] Scalable Semi-Supervised Learning over Networks using Nonsmooth Convex Optimization

Alexander Jung, Alfred O. Hero+2 more|arXiv (Cornell University)|Nov 2, 2016

Complex Network Analysis Techniques参考文献 14被引用数 3

ひとこと要約

本稿では、低全 variation を持つグラフ信号として仮説をモデル化し、Nesterov の最適な一次順序法による非滑らかな凸最適化を用いて、大規模なネットワーク構造データセット向けのスケーラブルな半教師あり学習手法を提案する。このアプローチにより、大規模データプラットフォームに適した効率的で分散型のメッセージパッシング実装が可能となり、クラスタ間でのラベルの滑らかさを保ちながら高いスケーラビリティを達成する。

ABSTRACT

We propose a scalable method for semi-supervised (transductive) learning from massive network-structured datasets. Our approach to semi-supervised learning is based on representing the underlying hypothesis as a graph signal with small total variation. Requiring a small total variation of the graph signal representing the underlying hypothesis corresponds to the central smoothness assumption that forms the basis for semi-supervised learning, i.e., input points forming clusters have similar output values or labels. We formulate the learning problem as a nonsmooth convex optimization problem which we solve by appealing to Nesterovs optimal first-order method for nonsmooth optimization. We also provide a message passing formulation of the learning method which allows for a highly scalable implementation in big data frameworks.

研究の動機と目的

• 限られたラベルデータを伴う大規模なネットワーク構造データセットにおけるスケーラブルな半教師あり学習の課題に対処すること。
• 連結されたノード間での滑らかさを強制するために、全 variation が小さいグラフ信号として潜在的仮説をモデル化すること。
• AKKA などの大規模データプラットフォームに適した効率的で分散型の最適化フレームワークを開発すること。
• メッセージパッシングインターフェースを持つ非滑らかな凸最適化問題に定式化することで、スケーラブルな学習を可能にすること。
• 平均二乗誤差を超える多様な損失関数（分類的・離散的ラベル）を扱えるようにフレームワークを拡張すること。

提案手法

• グラフ信号上の全 variation に対する罰則を含む非滑らかな凸最適化問題として半教師あり学習を定式化する。
• 非滑らか問題を効率的に解くために Nesterov の最適な一次順序法を適用し、収束保証を確保する。
• 各ノードが局所的情報と隣接ノードの信号に基づいてラベルを更新するメッセージパッシング定式化を導出する。
• 誤差バウンドに基づく双対変数更新則を導入し、最適化における制約の適応的取り扱いを可能にする。
• グラフラプラシアンと全 variation を用いて滑らかさを符号化し、ペアワイズ類似度よりもクラスタごとのラベル一貫性を優先する。
• 経験的誤差バウンドで定義された制約集合を用いた投影型部分勾配法を採用し、反復処理中の妥当性を維持する。

実験結果

リサーチクエスチョン

• RQ1 限られたラベルデータを伴う大規模なネットワーク構造データセットにおける半教師あり学習をどのようにスケーラブルに実現できるか？
• RQ2 従来のラプラシアンベースの滑らかさ測定よりも、グラフ信号における全 variation 正則化がコミュニティ構造をより良く捉えることができるか？
• RQ3 グラフベースの半教師あり学習に生じる非滑らかな凸最適化問題を解く最適な一次順序法は何か？
• RQ4 最適化をどのように分散型メッセージパッシングアルゴリズムに再定式化できるか？
• RQ5 大規模設定下での提案手法の収束行動と計算複雑度はいかなるものか？

主な発見

• 提案手法は、グラフ信号における全 variation 正則化と非滑らかな凸最適化を活用することで、スケーラブルな半教師あり学習を実現する。
• メッセージパッシング定式化により、分散型で局所的な計算が可能となり、AKKA などの大規模データフレームワークへの実装に適している。
• Nesterov の最適な一次順序法を用いることで、非滑らか問題に適した高速な収束レートを達成し、最適解に収束する。
• 双対変数の更新則により、誤差バウンドに基づいて動的に調整され、反復処理全体で制約の満たされることを保証する。
• 全 variation を用いることで、滑らかさよりも区分的定数信号を優遇するため、従来のラベル伝搬法よりもコミュニティ構造に整合性をもたせた性能を発揮する。
• 理論的分析により、解が KKT 条件を満たしており、最適な双対変数が現在の反復における誤差によって決定されることが確認された。